完全开源的7B模型，性能比肩主流LLM，训练成本仅16万美元，复现DeepSeek的强化学习！

责编 |梦依丹 出品丨AI 科技大本营（ID：rgznai100） 自从 GPT-3 横空出世，生成式 AI 彻底点燃了全球科技圈： 尽管 LLMs 如 GPT-4、Claude 等展现了惊人的能力，但闭源模型的闭源特性让研究者难以深入理解其运作机制，同时开源模型的开放程度有限： Moxin-7B：从预训练到强化学习，全面透明的 AI 革新 Moxin-7B 的诞生，正是为了解决这一问题！ 它由来自东北大学、哈佛、康奈尔等机构的研究团队联合开发，完全遵循"开源科学"原则，公开了从数据 清洗到强化学习的全流程细节，从预训练到 DeepSeek 同款强化学习，成为目前透明度最高的开源 LLM 之一。 2. 高性能低成本：小模型的大能量 零样本任务：在 ARC-C（AI2推理挑战）上达到 58.64%，超越 LLaMA 3.1-8B（53.67%）和 Qwen2-7B（50.09%）。 数学推理：经过 RL 微调后，在 MATH-500 上准确率 68%，超越 70B 参数的Llama-3-Instruct 模型（64.6%）。 长上下文支持：通过滑动窗口注意力（SWA）和分组查询注意力（GQA），高效处理 32K ...