GenieBlue团队 投稿 量子位 | 公众号 QbitAI 在AI迈入多模态时代的当下， "让大模型上手机" 成为产业落地的焦点。 现有MLLM在手机端部署时常面临两大难题： vivo AI研究院联合港中文以及上交团队 为了攻克这些难题， 从训练数据和模型结构两方面，系统性地分析了如何在MLLM训练中维持纯语言 能力，并基于此提出了GenieBlue——专为移动端手机NPU设计的高效MLLM结构方案。目前已被ICCV 2025接收。 主要贡献和技术亮点 1、现有端侧LLM在支持多模态功能后，纯语言任务准确率下降超10%。GenieBlue通过冻结原始LLM参数，并引入复制的Transformer层和 轻量化的LoRA模块，在多模态训练的过程中保留原始的语言能力。 2、通过大规模微调，GenieBlue达到与主流MLLM相媲美的多模态能力，并完全保留原始纯语言性能。 3、避开当前NPU不支持的MoE架构，采用不共享基座的推理策略。在搭载高通骁龙8 Elite（第四代）芯片的手机上实现流畅运行。 技术背景 1、当前的端侧MLLM无法取得令人满意的纯语言能力 在MATH（客观难题）、AlignBench和MT- ...