PCL团队 投稿 量子位 | 公众号 QbitAI 生成式视角可以对监督学习重新思考乃至重新定义！ 想象你在教一个学生解数学题——你会直接让他交卷对答案，还是会让他参考完整答案来理解解题思路？ 如今，一种全新的监督学习范式正受到关注：标签不应只是用于对照回答的标准答案，更可能成为学习过程中的辅助参考。 受生成式一致性模型的启发，来自上海交大、SII、MIT、港中文深圳等机构的研究团队在ICML 2025最新提出预测一致性学习（PCL， Predictive Consistency Learning）。 PCL通过扩散模型的扩散过程消减标签的信息，将噪声标签（Noised Labels）引入模型的输入，使得模型在数据输入和噪声标签的共同参照 下预测完整标签，实现标签信息的复用和价值挖掘。 训练过程概览 传统监督学习中，输入 通过神经网络预测 ，通过对比和标准答案 之间的关系，来计算损失和反向传播更新模型，对应损失函数 $${\mathcal{L}}_{S L}=d(f_{\theta}(\mathbf{x}),\mathbf{y}),$$ 其中 为具体损失函数， 为神经网络函数。受生成一致性模型中一致性映射思想 ...

在建模复杂的数据分布方面，扩散生成模型表现出色，不过它的成果大体上与表征学习（representation learning）领域关联不大。 机器之心报道 编辑：Panda 通常来说，扩散模型的训练目标包含一个专注于重构（例如去噪）的回归项，但缺乏为生成学习到的表征的显式正则化项。这种图像生成范式与图像识别范式差 异明显 —— 过去十年来，图像识别领域的核心主题和驱动力一直是表征学习。 在表征学习领域，自监督学习常被用于学习适用于各种下游任务的通用表征。在这些方法中，对比学习提供了一个概念简单但有效的框架，可从样本对中学习表 征。 直观地讲，这些方法会鼓励相似的样本对（正例对）之间相互吸引，而相异的样本对（负例对）之间相互排斥。研究已经证明，通过对比学习进行表征学习，可 以有效地解决多种识别任务，包括分类、检测和分割。然而，还没有人探索过这些学习范式在生成模型中的有效性。 鉴于表征学习在生成模型中的潜力，谢赛宁团队提出了 表征对齐 (REPA) 。该方法可以利用预训练得到的现成表征模型的能力。在训练生成模型的同时，该方法 会鼓励其内部表征与外部预训练表征之间对齐。有关 REPA 的更多介绍可阅读我们之前的报道 ...

作者 | https://www.youtube.com/watch?v=4__gg83s_Do 编译 | Eric Harrington 出品丨AI 科技大本营（ID：rgznai100） 在这个 AI 技术浪潮席卷全球，几乎人人都在谈论大语言模型潜能无限的时代，一个根本性的问题摆在我们面前：既然 AI "读完"了整个互联网，为何 仍未诞生下一个爱因斯坦？在原创性的科学发现上，这些大模型为什么仍如此"笨拙"？它们真的"理解"我们这个复杂而充满规律的物理世界吗？还是仅 仅在进行一场规模空前的模式匹配游戏？ 如果你也曾对这些问题感到困惑，那么图灵奖得主、 Meta 首席 AI 科学家杨立昆（ Yann LeCun ）的这场深度对话，或许能为你拨开迷雾，提供一个 清醒而富有洞察力的视角。本文编译自 YouTube 频道 Big Technology Podcast 的精彩访谈，杨立昆此次并非简单地唱衰当前 AI 的成就，而是以一 位资深研究者的严谨和一位前瞻思想家的锐利，直指当前主流大模型（ LLM ）的"天花板"。 他深入剖析了为何仅靠"记住"海量文本不足以催生真正的智能，为何当前的 AI 架构难以进行真正的抽 ...

捷克技术大学领衔的国际团队研发出名为DreaMS的AI分子解码器。它能像"侦探"一样快速解析未知分 子的结构，有望应用于药物研发与太空生命探测等领域。相关研究发表于新一期《自然·生物技术》杂 志。 目前，人类已知的自然界分子仅是冰山一角。隐藏在植物、土壤甚至外星环境中的神秘分子，可能蕴藏 着治疗顽疾的新药配方、环保农药的分子蓝图，乃至揭示生命起源的密钥。 研究团队形象地比喻道，每个分子都有独特的"指纹"——质谱图。虽然现代光谱仪能轻松捕获这些图 谱，但解读这些由数百万数据点构成的图谱并揭示确切的分子结构存在一定的难度，DreaMS便应运而 生。 DreaMS的突破在于其开创性的学习方式。它模仿人类婴儿学习语言的过程，无需预先灌输化学规则， 仅通过"阅读"数千万份来自植物、微生物、食品等样本的质谱图，就可自主构建起分子结构的认知体 系，解读分子图谱并揭示其结构。这种自监督学习模式，也使其发现了传统方法难以捕捉的深层关联， 例如在杀虫剂、食物与人类皮肤之间的分子相似性，甚至推测某些杀虫剂可能与牛皮癣等自身免疫疾病 存在关联。 这个"化学侦探"还可用于估计分子包含多少特定片段或是否包含特定的化学元素。它在特训后还掌 ...

该研究基于因果效应估计等手段，提出小批量数据采样策略，来消除不可观测变量语义干扰的混杂影 响。这一策略通过学习隐变量模型，来估计在给定"锚点"样本的条件下，不可观测语义变量的后验概率 分布，将其记为平衡分数。进而，该策略将具有相同或相近平衡分数的样本对划分为同一个小批量数据 集，确保每个小批量数据集内的不可观测语义变量与"锚点"样本在条件上是独立的，从而帮助模型避免 学习到虚假关联，提升模型的分布外泛化能力。 经济观察网讯据软件研究所消息，近日，中国科学院软件研究所科研团队提出了小批量数据采样策略， 可消除由不可观测变量语义引起的虚假关联对表征学习的干扰，来提升自监督学习模型分布外泛化能 力。 自监督学习的分布外泛化能力是指模型在面对与训练数据分布不同的测试数据时，仍能够保持良好性 能。简单来说，模型需要在"未见过"的数据分布上表现得和在训练数据上一样好。但是，有研究发现， 自监督学习模型在训练过程中受到与学习任务无关的不可观测变量的语义干扰，从而削弱分布外泛化能 力。 进一步，该研究在基准数据集上进行了广泛实验。所有实验均仅替换批次生成机制，无需调整模型架构 或超参数。实验显示，这一采样策略使当前主流自监督 ...

进入2025年以来， AI Agent的发展明显提速。5月6日，OpenAI宣布以30亿美元收购 Windsurf；编程工具Cursor的母公司Anysphere也获得了9亿美元的融 资，估值高达90亿美元；号称中国第一个通用AI Agent的Manus在五月也获得了硅谷老牌风险投资公司Benchmark领投的7500万美元的融资；OpenAI在一 月推出了具备自主使用浏览器能力的Operator，并在二月发布了专注于复杂任务处理的Deep Research，这两个产品上线后迅速获得关注，如今已有不少用 户成为其深度使用者。 这期文章我们就来聊聊：究竟是哪些关键能力，支撑了Agent的技术跃迁？哪一类Agent最有可能成为未来的通用Agent？而普通创业者目前在Agent赛道还 有哪些机会？ 我们邀请了MindVerse心识宇宙的创始人陶芳波以及AI产品经理Kolento Hou，一起聊一聊AI Agent的核心技术、热门产品使用体验、创业机会与挑战，以 及AI Agent的未来将走向何方？ 以下是这次对话内容的精选: 一、RTF推动的Agent热潮 泓君：首先请两位嘉宾来分享下自己最近使用Agent的频率是 ...

选自 作者：Nando de Freitas 机器之心编译 别人都在用 X 发帖子，分享新鲜事物，微软副总裁 Nando de Freitas 却有自己的想法：他要在 X 上「开课」，发布一些关于人工智能教育的帖子。该系列会从 LLM 的强化学习开始，然后逐步讲解扩散、流匹配，以及看看这些技术接下来会如何发展。 话说回来，Freitas 有这个想法时还是 4 月 24 日，到今天为止，他已经更新了多篇帖子，每篇都干货满满。 由于涉及的内容需要费点脑细胞来思考，在更新了几篇后，Freitas 抱怨道：「随着数学知识的增多，自己 X 上的读者人数正在下降。」 | (5 17 16 ♡ 112 | | --- | | III 16K | | 3 | 或许，太硬核的东西，浏览量确实不会太高。 不过，遗憾归遗憾，这些帖子对于那些想学习 RL、从事大模型的人非常有帮助。 Freitas 也表示，他会不断更新内容，感兴趣的读者可以随时关注。 接下来，我们看看最近几篇帖子内容。 无监督学习、监督学习、强化学习终极定论尚未形成 监督学习 对应于最基础的模仿形式：简单的行为复制。它通过最大似然估计，将世界状态（如文本问题）映射到 ...

"恭喜！""当之无愧！" AISTATS官宣其获奖的推文下面，业界大佬齐聚，一片祝贺之声。 当初，这篇论文被AISTATS接收。 然而在谢赛宁本人的转发推文中，我们知道另一重内幕—— 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 谢赛宁十年前被NeurIPS （当时还叫NIPS） 拒收的论文，刚在今年获得了AISTATS 2025年度时间检验奖。 这篇论文就是《Deeply-Supervised Nets》 （DSN，深度监督网络） ，2014年9月挂上arXiv。 时间匆匆，十一年过去，属于是真·时间检验了。 它提出的中间层监督思想被谢赛宁后续作品REPA （Representation Alignment） 和U-REPA （U-Net Representation Alignment） 等继 承并发展，展示出从单一模型优化到跨模型知识迁移的演进。 而后两者在深度学习、扩散模型深化发展的这两年间，影响颇深。 这篇论文最初投稿给NeurIPS。虽然拿下8/8/7高分，但仍然被该顶会拒绝了。 他表示： 那次挫折一直萦绕在我心头，困扰着我…… 十一年前，拿到8/8/7高分却被拒 补充下背景信息—— 《D ...

机器之心报道 机器之心编辑部 近日，ISCA Fellow 2025 入选结果揭晓！ ISCA Fellow 是由国际语音通讯协会（International Speech Communication Association，ISCA）设立的荣誉称号，旨在表彰在语音通信科学与技术领域做出杰出贡献 的会员，包括研究人员、工程师和学者。 该奖项设立于 2007 年，每年新晋 Fellow 不超过当年 ISCA 会员总数的千分之三，确保稀有性和权威性。 自设立以来，ISCA Fellow 人数已经超过 100 人。ISCA Fellow 2025 入选者共有 8 位，包括以下三位华人学者： 华人入选者 俞凯 个人简介： 俞凯，思必驰联合创始人、首席科学家，上海交通大学特聘教授，清华大学本科、硕士，剑桥大学博士。入选国家级重大人才工程，国家自然科学基 金委优青，上海市「东方学者」特 聘 教 授 。IEEE 信号处理学会会议理事会 (Conference Board) 和会员理事会 (Membership Board) 理事，IEEE Speech and Language Processing Technical C ...

2025 年 2 月的全球 AI 重要趋势。 文 丨 贺乾明 2025 年 2 月的 AI 月报，你会看到： 硅谷巨头的新共识：推理能力是大模型的一部分 OpenAI 和 Manus 的 Agent 开发经验 DeepSeek 推动中国大公司加大算力投入，阿里、字节两家加起来，今年就超过 2000 亿 3 家售价过亿的 AI 公司和 23 家获得超过 5000 万美元融资的 AI 公司 OpenAI 时薪 100 美元招专家生产数据提高模型能力 这一期月报中，我们开始邀请研究者、创业者和投资人提供一手视角的对每月 AI 趋势和标志性事件的评述和 洞察。 晚点 AI 月报，每月选取最值得你知道的 AI 信号。 以下是我们第 4 期 AI 月报，欢迎大家在留言区补充我们没有提到的重要趋势。 技术丨GPT-5 雏形出现，行业新共识诞生 DeepSeek 带来的冲击波继续扩散，全球大模型公司陷入混战：不论是马斯克用超过 10 万张 GPU 训练 的 Grok 3，还是 OpenAI 可能投入 10 亿美元训练的 GPT-4.5，或是 Anthropic 融合推理（reasoning） 能力的最新模型 Claude 3 ...