AI专题：从模型视角看端侧AI：模型技术持续演进，交互体验有望升级

AI专题•从模型视角看端侧AI 模型技术持续演进，交互体验有望升级 西南证券研究发展中心 海外研究团队 2024年7月 核心观点 口 基础的构建：模型实现高效压缩是端侧AI的第一步。模型尺寸变小、同时具备较好性能 , 是端侧AI 的前提。目前，在10B参数规模以下的模型中，7B尺寸占据主流，3B及以下小模型仍在探索，部分 小模型性能正逐步接近更大参数模型，如谷歌Gemini-Nano模型在部分测试基准上接近Gemini- Pro、Meta Llama-3-8B模型表现可与Llama-2-70B匹敌。模型厂商为兼顾模型尺寸与性能，在算 法优化上进行积极探索，在模型压缩技术、稀疏注意力机制、多头注意力变体等领域取得持续进展 , 帮助模型减少参数、降低存算需求 , 同时保持较好的性能 , 为端侧AI奠定小模型的基础。 口 落地的关键：模型适配终端硬件是端侧AI的第二步。小语言模型（SLM）不完全等于端侧模型，在 模型实现高效压缩后，需要进一步与手机硬件进行适配，帮助小模型装进终端。从众多小模型论文 中可以发现，当前主要存在内存、功耗、算力三大硬件瓶颈。其中，苹果在其论文《LLM in a flash》中指出，70亿 ...