DeepSeek mHC
Search documents
DeepSeek连发两篇论文背后,原来藏着一场学术接力
3 6 Ke· 2026-01-16 01:28
第一篇论文(mHC)出来的时候,打开论文的人都表示很懵,直呼看不懂,让 AI 助手用各种方式讲给自己听。我们也翻了翻网友的讨论,发现理解起来 比较透彻的办法其实还是要回到研究脉络,看看这些年研究者们是怎么接力的。要理解第二篇论文(Conditional Memory)也是如此。 2026 年 1 月过半,我们依然没有等来 DeepSeek V4,但它的模样已经愈发清晰。 最近,DeepSeek 连发了两篇论文,一篇解决信息如何稳定流动,另一篇聚焦知识如何高效检索。 于是,我们就去翻各路研究者的分析。这个时候,我们发现了一个有意思的现象:DeepSeek 和字节 Seed 团队的很多工作其实是存在「接力」的 —— mHC 在字节 Seed 团队 HC(Hyper-Connections)的基础上进行了重大改进;Conditional Memory 则引用了字节 Seed 的 OverEncoding、UltraMem 等 多项工作。 如果把这些工作之间的关系搞清楚,相信我们不仅可以加深对 DeepSeek 论文的理解,还能看清大模型架构创新正在往哪些方向突破。 在这篇文章中,我们结合自己的观察和学界专家的点评, ...