阿里千问推出原生视觉-语言模型Qwen3.5-397B-A17B
智通财经APP获悉,2月16日,阿里千问正式发布Qwen3.5,并推出Qwen3.5系列的第一款模型Qwen3.5- 397B-A17B 的开放权重版本。作为原生视觉-语言模型,Qwen3.5-397B-A17B在推理、编程、智能体能 力与多模态理解等全方位基准评估中表现优异。该模型采用创新的混合架构,将线性注意力(Gated Delta Networks)与稀疏混合专家(MoE)相结合,实现出色的推理效率:总参数量达3970亿,每次前向传 播仅激活170亿参数,在保持能力的同时优化速度与成本。将语言与方言支持从119种扩展至201种,为 全球用户提供更广泛的可用性与更完善的支持。 据介绍,相对于Qwen3系列模型,Qwen3.5的 Post-training 性能提升主要来自于对各类RL任务和环境的 全面扩展。更加强调RL环境的难度与可泛化性,而非针对特定指标或狭隘类别的query进行优化。 Qwen3.5通过异构基础设施实现高效的原生多模态训练:在视觉与语言组件上解耦并行策略,避免统一 方案带来的低效。利用稀疏激活实现跨模块计算重叠,在混合文本-图像-视频数据上相比纯文本基线达 到近100%的训练吞吐。在 ...