2025年2月，DeepSeek火爆出圈，除了免费和好用之外，还因其仅以500万至600万美元的GPU成本，就 训练出了与OpenAI o1能力不相上下的DeepSeek R1模型，引起行业震撼，不过这一成本数据也引发了广 泛争议。 MiniMax称，M1模型的整个强化学习阶段仅使用了512块英伟达H800 GPU，耗时三周，成本仅为53.5万 美元，这一成本"比最初的预期少了一个数量级"。 MiniMax解释，MiniMax M1的强文本处理能力和更低成本，背后是两大核心技术作为支撑，一是线性 注意力机制（Lightning Attention）混合构架和强化学习算法CISPO。例如，CISPO算法通过裁剪重要性 采样权重，而非传统算法中调整Token的更新方式，来提升强化学习的效率和稳定性。 经济观察报 记者 陈月芹 6月17日，MiniMax（稀宇科技）宣布其自主研发的MiniMax M1模型开源，并计划在未来5天内每天发 布一项新产品或新技术。而这款MiniMax M1模型，在关键技术规格、架构设计、上下文处理能力、训 练成本等维度全面对标DeepSeek R1，甚至是谷歌Gemini 2.5 Pro ...

当DeepSeek的推理模型震撼全球AI圈时，一家估值200亿人民币的中国独角兽正悄然磨刀霍霍，准备用仅53万美元的训练成本和颠覆性架构设 计，向这个新贵发起正面挑战。 17日，AI创业公司MiniMax发布了其首款推理模型M1，根据基准评测，M1性能超越国内闭源模型，接近海外最领先模型，部分任务超过 DeepSeek、阿里、字节，以及OpenAI、谷歌和Anthropic等最新最强的开闭源模型。 这场较量的核心不仅在于性能，更在于效率——与DeepSeek R1相比，在生成64K token时，M1消耗的算力不到其50%；在100K token时，仅为其 25%。 MiniMax称，M1的整个强化学习过程仅使用512块英伟达H800 GPU训练三周，租赁成本53.74万美元（约合380万人民币）。这一成本控制"比最 初预期少了一个数量级"。MiniMax创始人&CEO闫俊杰发文表示："第一次感觉到大山不是不能翻越。" MiniMax-M1：混合专家架构与线性注意力机制 MiniMax-M1采用了混合专家（MoE）架构和线性注意力机制（Lightning Attention），这是对传统Transformer ...

"从开源论文、开源代码出发，现在已经进化到开源思维链了嘛！" 文丨Andrew Lu 注释丨贺乾明 程曼祺 2 月 18 日，Kimi 和 DeepSeek 同一天发布新进展，分别是 MoBA 和 NSA，二者都是对 "注意力机 制"（Attention Mechanism）的改进。 今天，MoBA 的一位主要研发同学 Andrew Lu 在知乎发帖，自述研发过程的三次踩坑，他称为 "三入思过 崖"。他在知乎的签名是"新晋 LLM 训练师"。 这条回答下的一个评论是："从开源论文、开源代码出发，现在已经进化到开源思维链了嘛。" 注意力机制之所以重要，是因为它是当前大语言模型（LLM）的核心机制。回到 2017 年 6 月那篇开启 LLM 革命的 Transformer 八子论文，标题就是：Attention Is All You Need（注意力就是你所需要的一 切），该论文被引用次数至今已达 15.3 万。 注意力机制能让 AI 模型像人类一样，知道在处理信息时该 "重点关注" 什么、"忽略" 什么，抓住信息中最 关键的部分。 在大模型的训练阶段和使用（推理）阶段，注意力机制都会发挥作用。它的大致工作原理是 ...