腾讯混元开源0.3B端侧模型 内存占用仅600MB

部署方面，腾讯混元提供了HY-1.8B-2Bit的gguf-int2格式的模型权重与bf16伪量化权重，对比原始精度模型，HY-1.8B-2Bit实际模型大小直降6倍，仅有 300MB，能够灵活用于端侧设备上。该模型也已在 Arm 等计算平台上完成适配，可部署于启用 Arm SME2 技术的移动设备上，并实现高效运行。 智通财经APP获悉，2月10日，腾讯混元正式推出一款面向消费级硬件场景的"极小"模型HY-1.8B-2Bit，等效参数量仅有0.3B，内存占用仅600MB，比常用 的一些手机应用还小。通过对此前混元的小尺寸语言模型——HY-1.8B-Instruct进行 2 比特量化感知训练(QAT)产出，这一模型对比原始精度模型等效参数 量降低了6倍，并且在沿用原模型全思考能力同时，在真实端侧设备上对比原始精度模型生成速度提升2—3倍，可大幅提升使用体验。 此次腾讯混元推出HY-1.8B-2Bit模型，可以在边缘设备上无压力部署。这也是首个在实现2bit产业级量化的端侧模型实践。此外，HY-1.8B-2Bit模型还沿用 了Hunyuan-1.8B-Instruct的全思考能力，用户可以灵活使用，为简单的查询 ...