此次发布的论文题为《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（《基于条件查找的条件记 忆：大型语言模型稀疏性的新维度》），由DeepSeek与北京大学联合完成，DeepSeek创始人梁文锋亦位列作者名单。论文的核心洞察在于，大模 型实际承担着两类性质迥异的任务：一类是需深度动态计算的组合推理任务，另一类是静态知识的检索任务。而现有Transformer架构缺乏原生知 识查找机制，只能通过低效计算模拟检索过程——例如在调用固定知识时，模型仍需耗费算力重复推导，既耗时又占用资源。 为破解这一痛点，DeepSeek团队提出将条件记忆作为补充的稀疏性维度，并通过名为Engram的条件记忆模块实现这一构想，以此优化神经计算 （MoE）与静态记忆（Engram）之间的权衡关系。团队还发现了"U型缩放定律"，该定律表明，在MoE专家与Engram记忆之间进行混合稀疏容量 分配，效果显著优于纯MoE基准模型。值得关注的是，尽管记忆模块的设计初衷是提升知识检索效率，但团队在通用推理、代码及数 ...

此前有爆料称DeepSeek下一代大模型V4将在春节前后发布，结合这几次研究，业内猜测这或许就是 DeepSeek V4的研究路线图。 此次发布的论文是DeepSeek与北京大学合作完成的，名称为《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》（《基于条件查找的条件记忆：大型语言模型稀疏性 的新维度》），作者一列同样有DeepSeek创始人梁文锋的署名。 这篇论文的核心观察是，大模型包含两种性质完全不同的任务，一种是需要深度动态计算的组合推理， 另一种则是检索静态知识。而现有的Transformer架构缺乏原生的知识查找机制，只能通过计算低效地模 拟检索过程。例如模型查找不变的知识时，得浪费算力重新推导一遍，既费时间又占资源。 继去年底发布一篇新论文后，1月12日晚，DeepSeek又上新了一篇论文，这次聚焦的是大模型的条件记 忆模块，在结论中DeepSeek 认为，这将成为下一代稀疏大模型中不可或缺的核心建模原语。 团队还发现了U型缩放定律，表明 MoE 专家和 Engram 记 ...