对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多

白交 发自 凹非寺 量子位 | 公众号 QbitAI 上海交大、27岁、最年轻博导 ，留给张林峰的标签不多了 （Doge） 。 最新引发关注的，是他实实在在的一个论文成果—— 他们提出了一种新的数据集蒸馏方法，结果获得了 CVPR 2025满分 。 通过引入一个辅助的神经网络，只需一块6年前的2080Ti，就能做大模型数据蒸馏。与前SOTA相比，新方法的显存占用只有1/300，并且速 度提升了20倍。 不过对于这一结果，张林峰表示有点意外。但能肯定的是 「数据蒸馏」 这一范式会成为接下来模型压缩的趋势之一。 这其实代表着张林峰团队所做的一个方向： 通过数据的角度去加速模型 。 当前AI模型需要基于海量数据进行训练，这显著增加了大型模型的训练成本。我们研究如何更高效地利用数据，更科学地清洗和合成数据，并 利用合成数据进一步增强生成模型，从而实现数据高效的人工智能。 具体是什么意思？ 实际上 模型压缩 这个领域其实并不新。作为机器学习中的一个分支，它旨在减少模型的复杂度、存储空间或计算资源需求，同时尽可能保持 其性能。像大家熟知的剪枝、量化、蒸馏都是模型压缩的传统方法。 随着大模型浪潮深入，「大力出奇迹」范式开始 ...