混合推理模式

Search documents
DeepSeek、GPT-5带头转向混合推理,一个token也不能浪费
机器之心· 2025-08-30 10:06
机器之心报道 编辑:张倩 在最近的一档脱口秀节目中,演员张俊调侃 DeepSeek 是一款非常「内耗」的 AI,连个「1 加 1 等于几」都要斟酌半天。 在 AI 领域,这种情况被称为「 过 度 思考 」。它的存在让 AI 大模型公司非常头疼,因为实在是太浪费算力了,那点订阅费根本 cover 不住。 所以,早在去年的 GTC 大会上,Transformer 论文作者之一 Illia Polosukhin 就提到, 自适应计算 是接下来必须出现的事情之一,我们需要知道在特定问题上应该 花费多少计算资源。 今年,越来越多的模型厂商将这件事提上日程 ——OpenAI 给 GPT-5 装了个「路由器」,确保模型可以在拿到用户问题后,自动选择合适的模型,像「天空为什么 是蓝色的」这种问题直接就丢给轻量级模型;DeepSeek 更激进,直接把对话和推理能力合并到了一个模型里,推出了单模型双模式的 DeepSeek v3.1。 如图所示,这两种方案在节省 token 方面都有显著的效果。 在内部评测中, GPT-5 (使用思考模式)能以比前代模型更少的 token 数完成任务 —— 大约少 50–80% 的输出 toke ...