Workflow
条件存储(Conditional Memory)
icon
Search documents
DeepSeek开源Engram,如何做到推理损失仅3%?
Tai Mei Ti A P P· 2026-01-13 08:44
上新mHC之后,DeepSeek再出大招。 1月13日凌晨,DeepSeek在GitHub开源了名为Engram的模块,并同时发布了与北京大学联合撰写的论文 Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models,阐述了一种 新的大模型稀疏化方向:条件存储(Conditional Memory)。 根据DeepSeek的研究,Engram是被设计成可微分、可训练、原生嵌入模型结构的组件,其核心是把记 忆性负载从主干计算中剥离出去,规避低效的反复计算,通过高速检索模块直接调用稳定存在、高频出 现的知识。 Engram首先会提供确定性检索。模型基于当前token和前文形成的N-gram,通过哈希映射,直接从一个 超大规模的静态嵌入表中取出对应向量,无需依赖复杂的神经计算,速度更快、路径稳定。 截图来自GitHub 该论文共14名作者,DeepSeek创始人、CEO梁文锋的署名列于最后。1月1日,DeepSeek的发布关于 mHC架构的论文,引发广泛关注,梁文锋同样署名,并列于最后。 两篇论文体 ...