2.4万亿参数原生全模态大模型 百度文心5.0正式版上线

1月22日，百度发布并上线原生全模态大模型文心5.0正式版。该模型参数达2.4万亿，采用原生全模态统 一建模技术，具备全模态理解与生成能力，支持文本、图像、音频、视频等多种信息的输入与输出。目 前，个人用户可在文心APP、文心一言官网体验，企业与开发者可通过百度千帆平台进行调用。 百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜介绍，与业界多数采用"后期融 合"的多模态方案不同，文心5.0的技术路线采用统一的自回归架构进行原生全模态建模，将文本、图 像、视频、音频等多源数据在同一模型框架中进行联合训练，使得多模态特征在统一架构下充分融合并 协同优化，实现原生的全模态统一理解与生成。 此外，文心5.0采用超大规模混合专家结构，具备超稀疏激活参数，激活参数比低于3%，在保持模型强 大能力的同时，有效提升推理效率。同时，基于大规模工具环境，合成长程任务轨迹数据，并采用基于 思维链和行动链的端到端多轮强化学习训练，显著提升了模型的智能体和工具调用能力。 得益于原生全模态建模，文心5.0在多模理解、代码、创意写作等能力上实现显著突破。 大会现场，仅输入一段博主复刻"活了么"App教程视频，文心5.0便能自动 ...