传媒：Gemma 2发布，降本提效延展AI生态

2024 年 06 月 28 日 行业研究●证券研究报告 传媒 行业快报 Gemma 2 发布,降本提效延展 AI 生态 投资要点 热点事件:6 月 27 日,Google 面向全球研究人员和开发人员发布 Gemma 2 大 语言模型,目前有 90 亿参数(9B)和 270 亿参数(27B)两种大小,并将在未 来几个月发布参数为 26 亿的 Gemma 2 模型,更适合智能手机的人工智能应用 场景。大语言模型持续迭代,降本增效有望加速 AI 赋能 B 端和 C 端应用和生产。 Gemma 2 带来效率和性能的提升。目前,Gemma 2 共推出 9B 和 27B 两种参 数,与上一代相比性能大幅度提升,但部署要求大幅度下降,只需一块 NVIDIA H100 Tensor Core GPU 或 TPU 主机就能使用。架构方面:基于上一代进行了 全方位改良,使用局部滑动窗口注意力和全局注意力,其中局部注意力层的滑动 窗口大小设置为 4096 个 tokens,全局注意力层的跨度设置为 8192 个 tokens。 训练数据方面:Gemma 2 的 27B 模型使用了 13 万亿 tokens 的英文数据进行训 练, ...