大语言模型（LLM）不仅在推动通用自然语言处理方面发挥了关键作用，更重要的是，它们已成为支撑多种下游应用如推荐、分类和检索的核心引擎。尽管 LLM 具有广泛的适用性，但在下游任务中高效部署仍面临重大挑战。随着模型规模的急剧扩大，这些挑战被进一步放大，尤其是在资源受限的设备上（如智能手 机），内存占用和计算开销都变得极其昂贵。 如图 1 所示，直接对已有的全精度 LLM 进行 1.58 比特量化感知训练（Quantization-Aware Training, QAT）时，在特定下游任务上的训练过程往往不稳定，难以保 持原有的性能，并表现出较差的可扩展性：当模型规模从 0.6B 增大到 4B 时，相对于全精度基线的性能差距从 13.9 扩大到 15.3。 | 机器之心报道 | | --- | | 编辑：+0、陈陈 | 为应对这些问题，近期研究提出了极低比特（extreme low-bit）LLM，例如使用 1.58 比特（即三值 {-1, 0, 1}）表示的 BitNet。这种方法旨在显著降低内存占用并加 速推理，从而为 LLM 在下游应用中的高效部署提供一条可行途径。 然而，要让 1.58 比特的 BitNe ...