全模态大模型（Omnimodal Large Models, OLMs）能够 理解、生成、处理并关联 真实世界多种数据类型，从而实现更丰富的理解以及与复杂世界的深度交互。人 工智能向全模态大模型的演进，标志着其从「专才」走向「通才」，从「工具」走向「伙伴」的关键点。 然而，如何在一个模型中同时兼顾强大的多模态理解与高质量生成，如何构建高效而统一的模型架构，如何设计合理的训练方法和数据配比方案，仍是当前学术 界与工业界共同的挑战。 近日， 哈工大深圳计算与智能研究院 Lychee 大模型团队， 在 2023 年研发的「立知」大语言模型基础上（工信部和网信办双认证），基于 2024 年 5 月提出的原 创 Uni-MoE 全模态大模型架构，正式发布第二代「立知」全模态大模型 Uni-MoE-2.0-Omni。 该模型 以大语言模型为核心，通过渐进式模型架构演进与训练策略优化，将稠密大语言模型拓展为混合专家架构驱动的高效全模态大模型，实现了从「语言理 解」到「多模态理解」，再到「理解与生成兼备」的跨越式升级！ 团队围绕以语言为核心的通用人工智能，通过引入全模态 3D RoPE 位置编码、设计动态容量 MoE 架构以 ...