DeepSeek发布新论文， 梁文锋参与署名。 1月1日消息，DeepSeek发布了一篇新论文，提出了一种名为mHC（流形约束超连接）的新架构。该研究旨在解决传统超连接在大规模模型 训练中的不稳定性问题，同时保持其显著的性能增益。这篇论文的第一作者有三位：Zhenda Xie（解振达）、Yixuan Wei（韦毅轩）、 Huanqi Cao。值得注意的是，DeepSeek创始人梁文锋也在作者名单中。 论文摘要指出，近来，以超连接（HC）为代表的研究通过拓宽残差流宽度和多样化连接模式，拓展了过去十年间确立的普遍采用的残差连 接范式。虽然这些改进带来了显著的性能提升，但连接模式的多样化从根本上削弱了残差连接固有的恒等映射特性，导致严重的训练不稳定 性与受限的可扩展性，同时还造成了显著的内存访问开销。为了解决这些问题，DeepSeek提出了流形约束超连接（mHC）——一种通用框 架，能够将HC的残差连接空间投影到特定流形上，从而恢复恒等映射特性，并融合严格的基础设施优化以确保运行效率。实证实验表明， mHC能够有效支持大规模训练，在提供明显性能提升的同时具备更优的可扩展性。DeepSeek预计，mHC作为HC的一种 ...