Workflow
阿里,重磅发布!股价大涨
证券时报·2025-03-06 02:08

3月6日,阿里通义千问大模型团队宣布,正式推出最新的推理模型QwQ-32B。据通义千问大模型团队介绍,这是一款拥有320亿参数的模型,其性能可与具 备6710亿参数(其中370亿被激活)的DeepSeek-R1媲美。 值得注意的是,尽管DeepSeek-R1拥有6710亿的巨型参数量,但由于DeepSeek创新性地使用了MoE(混合专家模型)架构以及MLA(多头潜在注意力机制) 的方法,每次推理仅激活370亿参数(占总量的5.5%)。这使得DeepSeek-R1虽然整体很大,但实际干活时只需要动用一小部分力量,能够做到节省资源,高 效完成任务。 在数学推理、编程能力和通用能力的一系列基准测试中,通义千问大模型团队将QwQ-32B与OpenAI的o1-mini以及DeepSeek满血版及蒸馏版进行了比较,结 果显示,在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,QwQ-32B表现与DeepSeek-R1相当,远胜于o1-mini及相同尺寸的R1 蒸馏模型。 至于为何能够实现这一点,奥秘仍在于大规模强化学习的方法。据介绍,在冷启动基础上,阿里通义团队针对数学和编程任务、通用 ...