Workflow
数据蒸馏
icon
Search documents
对话27岁博导张林峰:模型压缩获CVPR满分有点意外,上海交大像我这样年轻老师很多
量子位· 2025-05-27 01:07
白交 发自 凹非寺 量子位 | 公众号 QbitAI 上海交大、27岁、最年轻博导 ,留给张林峰的标签不多了 (Doge) 。 最新引发关注的,是他实实在在的一个论文成果—— 他们提出了一种新的数据集蒸馏方法,结果获得了 CVPR 2025满分 。 通过引入一个辅助的神经网络,只需一块6年前的2080Ti,就能做大模型数据蒸馏。与前SOTA相比,新方法的显存占用只有1/300,并且速 度提升了20倍。 不过对于这一结果,张林峰表示有点意外。但能肯定的是 「数据蒸馏」 这一范式会成为接下来模型压缩的趋势之一。 这其实代表着张林峰团队所做的一个方向: 通过数据的角度去加速模型 。 当前AI模型需要基于海量数据进行训练,这显著增加了大型模型的训练成本。我们研究如何更高效地利用数据,更科学地清洗和合成数据,并 利用合成数据进一步增强生成模型,从而实现数据高效的人工智能。 具体是什么意思? 实际上 模型压缩 这个领域其实并不新。作为机器学习中的一个分支,它旨在减少模型的复杂度、存储空间或计算资源需求,同时尽可能保持 其性能。像大家熟知的剪枝、量化、蒸馏都是模型压缩的传统方法。 随着大模型浪潮深入,「大力出奇迹」范式开始 ...
假的
猫笔刀· 2025-01-29 14:18
韩国那边也有很多闭麦对嘴型的演出,但通常是女团或者男团的唱跳演出,成员有剧烈的舞蹈动作和队形变换,这个时候实力不稳的成员唱出来的歌声犹 如杀猪,确实开不了麦。 但韩国也有一个潜规则,就是纯歌手(没有舞蹈动作,就是站着唱歌)基本都是现场live,因为你所有的表演内容就是唱歌,如果歌声还是假的你站那里 就没意义了。 春晚歌曲节目的预制菜含量高这是众所周知的,曾经有那么几年也尝试大力推行现场live,结果事故频发,比如王菲2012年和陈奕迅的《因为爱情》是真 唱,你们去搜,节目效果一言难尽。王菲的嗓子早就不太好了,每次唱高音都让人提心吊胆,昨晚那首突然稳如老狗当然是预制菜了。 昨晚我说某菲的节目是预制菜,底下有一些可能是粉丝给我一顿数落,我当然不是乱讲了,哪些是预制菜,哪些是现炒的,这对我来说不难分辨。 我有个二十多年的爱好,就是看kpop的打歌舞台,这么多年下来看了得有几千个了,哪些是闭麦演出,哪些是半开麦,哪些是全开麦,听多了就知道。 这次的人物塑造有亮点,我出人意料的喜欢上了申公豹这个角色,虽然只是几笔简单着墨,但一下子让这个惯常在封神故事里打酱油的配角立体丰满了起 来,影片结尾埋下了他的故事线,所以肯定会继 ...