大模型不再拼“块头”——大语言模型最大能力密度随时间呈指数级增长

如今，大模型蓬勃发展，有没有指标来衡量AI大模型的"智力能力水平"？近日，清华大学研究团队提出 了大模型的密度法则，相关论文刊发于自然子刊《自然·机器智能》上。密度法则揭示大语言模型的最 大能力密度随时间呈指数级增长，2023年2月至2025年4月，约每3.5个月翻一倍。 计算机领域的"摩尔定律"大家已经耳熟能详：芯片上可容纳的晶体管数量，每隔一段时间就会翻一番。 计算机的强大，不是因为芯片变得像房子一样大，而是因为它在指甲盖大小的面积上集成了天文数字的 计算单元。清华大学计算机科学与技术系助理研究员肖朝军告诉科技日报记者，大模型的智力能力水平 应该也有一个指标，这就是"能力密度"。 研究的核心假设是，采用相同制造工艺、充分训练的不同尺寸模型，其能力密度相同。正如芯片行业通 过提升电路密度实现了计算设备的小型化和普惠化，大模型也在通过提升能力密度实现高效化发展。 肖朝军说，过去，在规模法则的指引下，大家关心一个大模型的"块头"（参数量）有多大，越大就越智 能，就像关心一个举重运动员的体重，体重越重，力量越大。现在，密度法则从另一个视角揭示了大模 型"高效发展"的规律——我们更应该关心它的"能力密度"，即每一单 ...