LeCun在Meta的最后论文？还是共同一作，LeJEPA：JEPAs理论拼图补完

机器之心报道 编辑：+0 这可能是 LeCun 在 Meta 发表的最后几篇论文之一。这次，LeCun 为 JEPA 架构补上了关键的理论拼图。 学习世界及其动态的可操控表征是人工智能的核心。联合嵌入预测架构（JEPAs）是实现这一目标的有前景的蓝图。其核心思想是：通过最大化语义相关视 图（例如图像的不同变换或裁剪）的嵌入之间的一致性，来学习一个有组织且可操作的高维嵌入空间。 然而，当前的 JEPA 训练方法缺乏坚实的理论指导，导致研发过程临时且脆弱。它们面临一个共同的难题： 表征崩溃 （即所有输入都映射到相似的嵌 入）。 为了缓解这种「捷径解」，当今的先进方法严重依赖各种复杂的「启发式方法」，例如：停止梯度、教师-学生网络（及精心调整的 EMA 调度）、非对称 的视图生成、显式的归一化和白化层。 这些机制不仅使训练过程复杂、脆弱，而且对超参数、架构和数据分布非常敏感，并且缺乏坚实的理论保证。 LeCun 团队提出了一个关于 JEPAs 的全面理论，并将其具体化为 LeJEPA ，这是一个精简、可扩展且有理论基础的训练目标。 论文标题：LeJEPA: Provable and Scalable Self-Su ...