机器之心编辑部 又一个真正轻量、快速、强悍的大语言模型闪亮登场！ Transformer 架构对计算和内存的巨大需求使得大模型效率的提升成为一大难题。为应对这一挑战，研究者们投入了大量精力来设计更高效的 LM 架构。 与此同时，大量工作致力于构建混合模型，将全注意力和线性注意力相结合，以在准确性和效率之间取得平衡。虽然这些模型比全注意力架构具有更高的效率， 但其准确性仍明显落后于 SOTA 全注意力模型。 近日， 来自英伟达的研究者提出了一种新的混合架构语言模型新系列 ——Jet-Nemotron 。其在达到 SOTA 全注意力模型精度的同时，还具备卓越的效率。 机器之心报道 具体来说，2B 版本的 Jet-Nemotron 性能就能赶超 Qwen3、Qwen2.5、Gemma3 和 Llama3.2 等最 SOTA 开源全注意力语言模型，同时实现了显著的效率提升。在 H100 GPU 上，其生成吞吐量实现了高达 53.6 倍的加速（上下文长度为 256K，最大 batch size）。 此外，在 MMLU 和 MMLU-Pro 基准上，Jet-Nemotron 的准确率也超过了近期一些先进的 MoE 全注意 ...

时令 发自 凹非寺 量子位 | 公众号 QbitAI 英伟达开源又放大招了！ 韩松团队 推出了一款全新的基于后神经架构搜索的高效语言模型—— Jet-Nemotron 。 该模型在一系列基准测试中，不仅表现出与Qwen3、Qwen2.5、Gemma 3和Llama 3.2相当甚至更优的准确率，还在生成吞吐量上实现最高 53.6倍加速，在预填充阶段达到6.1倍加速。 值得一提的是，在MMLU、MMLU-Pro和BBH基准上，Jet-Nemotron-2B相比Qwen3-1.7B-Base吞吐量提高了47倍，缓存大小缩小至1/47。 同时，它还实现了比DeepSeek-V3-Small和Moonlight （共150亿参数，22亿激活参数） 更高的准确率。 代码和预训练模型都将开源，我们先来看看Jet-Nemotron是如何构建的。 Jet-Nemotron：基于后神经架构搜索构建 首先，Jet-Nemotron是在 后神经架构搜索 （Post Neural Architecture Search，PostNAS）的基础上构建的。 其中，后神经架构搜索（PostNAS）模型是一种"站在大模型肩膀上做改造"的架构搜 ...