ROME团队 投稿 量子位 | 公众号 QbitAI 在人工智能模型规模持续扩大的今天，数据集蒸馏（Dataset Distillation,DD）方法能够通过使用更少的数据，达到接近完整数据的训练效 果，提升模型训练效率，降低训练成本。 但是，通过数据集蒸馏训练的模型，要在安全性要求比较高的任务中（如医疗诊断、自动驾驶），实现不受干扰并保持性能效果，还有一定难 度。 来自北京航空航天大学、上海人工智能实验室和英国利物浦大学的研究团队，提出了名为 ROME 的新方法，这是首次将 信息瓶颈理论 引入 数据集蒸馏任务。该方法无需对抗训练，即可显著提升模型的对抗鲁棒性，最大提升近40%。 实验结果显示，在不同数据集上，相较于以往最优方法，ROME的鲁棒性均实现了大幅超越， 最高从此前43.97%暴涨至103.09% 。 目前，相关成果已被国际机器学习顶会ICML 2025正式接收，项目代码与数据已全面开源。 其核心思想是 通过最小化输入数据与其中间层潜在表示之间的冗余信息，同时增强该表示对于最终标签信息的有效性，从而从源头上提升合 成数据的对抗鲁棒性 。 此外，ROME还引入了基于条件熵瓶颈（Conditional ...