蚂蚁集团开源万亿思考模型 Ring-2.5-1T,打破大模型“不可能三角”
如何又快又好? Ring-2.5-1T的速度优势来自其底层架构的根本性创新。它基于Ling 2.5架构,采用了混合线性注意力机制——具体来说,是以1:7的比例混搭MLA(多头潜在 注意力)和Lightning Linear Attention两种注意力模块。 这一设计源自蚂蚁此前发布的Ring-flash-linear-2.0技术路线。 (文/陈济深 编辑/张广凯) 长期以来,深度思考模型一直面临一个尴尬的"不可能三角":想要推理逻辑严密,就得忍受龟速的解码速度和爆炸式的显存开销。 为了绕开这个难题,目前业界主流路径多采用 MoE(混合专家模型)架构,通过只激活部分参数来节省算力,诸多头部模型如以DeepSeek、Kimi、 MiniMax均采用了这种架构。 如今,这个行业魔咒被蚂蚁集团找到了解法。 2月13日,蚂蚁集团正式开源了全球首个基于混合线性架构的万亿参数思考模型Ring-2.5-1T。该模型同时做到了三件过去被认为难以兼得的事:推理速度 快、深度思考强、长程任务执行能力突出。 在评测中,Ring-2.5-1T在数学竞赛中拿到IMO金牌级别的35分(满分42),在CMO拿到105分远超国家集训队分数线 ...