何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍

在建模复杂的数据分布方面，扩散生成模型表现出色，不过它的成果大体上与表征学习（representation learning）领域关联不大。 机器之心报道 编辑：Panda 通常来说，扩散模型的训练目标包含一个专注于重构（例如去噪）的回归项，但缺乏为生成学习到的表征的显式正则化项。这种图像生成范式与图像识别范式差 异明显 —— 过去十年来，图像识别领域的核心主题和驱动力一直是表征学习。 在表征学习领域，自监督学习常被用于学习适用于各种下游任务的通用表征。在这些方法中，对比学习提供了一个概念简单但有效的框架，可从样本对中学习表 征。 直观地讲，这些方法会鼓励相似的样本对（正例对）之间相互吸引，而相异的样本对（负例对）之间相互排斥。研究已经证明，通过对比学习进行表征学习，可 以有效地解决多种识别任务，包括分类、检测和分割。然而，还没有人探索过这些学习范式在生成模型中的有效性。 鉴于表征学习在生成模型中的潜力，谢赛宁团队提出了 表征对齐 (REPA) 。该方法可以利用预训练得到的现成表征模型的能力。在训练生成模型的同时，该方法 会鼓励其内部表征与外部预训练表征之间对齐。有关 REPA 的更多介绍可阅读我们之前的报道 ...