元梯度优化框架
Search documents
训练时间爆砍80%!港大快手联合打造了一个AI炼金师:专挑“有营养”数据,20%数据达成50%效果
量子位· 2025-12-26 08:52
Alchemist团队 投稿 量子位 | 公众号 QbitAI 想象一下,如果让一个大厨用发霉的食材、过期的调料来做菜,即使厨艺再高超,也做不出美味佳肴。AI训练也是同样的道理。 一、数据就像食材,质量决定成品 现在的AI图像生成模型,如Stable Diffusion、FLUX等,需要从网络上爬取数百万张图片来学习。但这些图片质量参差不齐:有些模糊不 清,有些内容重复,有些甚至只是广告背景图。用这些"食材"训练出来的AI,自然效果不佳。 由香港大学丁凯欣领导,联合华南理工大学周洋以及快手科技Kling团队共同完成的这项研究,开发出了一个名为"炼金师" (Alchemist) 的AI系统。它就像一位挑剔的大厨,能从海量图片数据中精准挑选出最有价值的一半。 更让人惊喜的是: 二、让AI学会"自我评判" 2.1 传统方法的局限 传统的数据筛选方法就像用筛子筛米粒,只能按照单一标准过滤: 这些方法的问题在于: 它们不知道哪些数据真正有助于AI学习 。 2.2 炼金师的智慧 "炼金师"更像是一位经验丰富的美食评委,它能同时考虑多个维度: 用这一半精选数据训练出的模型,竟然比用全部数据训练的表现还要好 训练速度快了 5 ...