SpecForge团队 投稿 量子位 | 公众号 QbitAI 专门适用超大模型、带来2.18倍推理加速，最新投机采样训练框架开源！ SpecForge正是基于Eagle3，它不仅是 首个支持超大模型投机采样训练并开箱即用的框架 ，还与SGLang推理引擎深度集成。一键打通投机 采样训练推理全流程。 SGLang团队联合美团搜推平台、Cloudsway.AI开源SpecForge。 为何推出新的Spec训练框架？ SGLang，当前趋势下最受青睐的推理框架之一，为DeepSeek提供了专属优化，也深受英伟达、AMD、xAI等厂商喜爱。 这一次开源，主要是针对当下超大模型趋势。 随着Kimi K2、Qwen Coder的开源，越来越多的超大型模型进入大家的视野。这些模型具有强劲的性能，但受制于模型尺寸导致推理效率较 低。对于超大尺寸的模型，除了进一步优化算子之外。还有像投机采样这样的技术能加速它们的推理。 投机采样 （Speculative Sampling）通过引入轻量级的辅助模型来提升推理效率，同时确保结果的质量和正确性。 目前性能强劲的投机采样技术分别有 MTP 和 Eagle3 ，但MTP其需要在预训练 ...