在技术如火如荼发展的当下，业界常常在思考一个问题：如何利用 AI 发现科学问题的新最优解？ 一个普遍的解法是「测试时搜索」（Test-time search），即提示一个冻结的（不更新参数的）大语言模型（LLM）进行多次尝试，这一点类似人类在做编 程作业时的「猜」解法，尤其是进化搜索方法（如 AlphaEvolve），会将以往的尝试存入缓冲区，并通过人工设计、与领域相关的启发式规则生成新的提 示。 可是，尽管这些提示能够帮助 LLM 改进以往的解法，但 LLM 本身并不会真正提升，就像一个学生始终无法内化作业背后的新思想一样。 具体来看，团队只是把单个测试问题定义为一个环境，并在其中执行强化学习（RL），因此任何标准 RL 技术原则上都可以应用。然而，需要注意的 是，这里的目标与标准 RL 存在关键差异，这里的目标不是让模型在各类问题上平均表现更好，而是只为了解决眼前这一个问题，并且只需要产出一个优 秀的解决方案，而不是平均产生多个良好的解决方案。 团队将该方法命名为「Test-Time Training to Discover」（TTT-Discover）。为了适应上述目标，其学习目标函数和搜索子程序都旨在 ...

机器之心编辑部 在技术如火如荼发展的当下，业界常常在思考一个问题：如何利用 AI 发现科学问题的新最优解？ 一个普遍的解法是「测试时搜索」（Test-time search），即提示一个冻结的（不更新参数的）大语言模型（LLM）进行多次尝试，这一点类似人类在做编程作业时 的「猜」解法，尤其是进化搜索方法（如 AlphaEvolve），会将以往的尝试存入缓冲区，并通过人工设计、与领域相关的启发式规则生成新的提示。 可是，尽管这些提示能够帮助 LLM 改进以往的解法，但 LLM 本身并不会真正提升，就像一个学生始终无法内化作业背后的新思想一样。 实际上， 能够让 LLM 真正进步的最直接方式是学习。 尽管「学习」和「搜索」都能随着算力扩展而良好地增长，但在 AI 的发展历史中，对于围棋、蛋白质折叠等这类困难问题，「学习」往往最终超越了「搜索」。 因为， 科学发现本质是：超出训练数据与人类现有知识的 out-of-distribution 问题。 为此， 斯坦福大学、英伟达等机构联合提出一种新方法：在测试时进行强化学习（RL），即让 LLM 在尝试解决特定测试问题的过程中持续训练自己。 论文链接：https://w ...

大模型持续学习，又有新进展！ 来自斯坦福、英伟达等研究机构的最新研究，针对解决开放的科学问题，提出全新思路—— Test-Time Training to Discover (TTT-Discover)。 其基于开源模型gpt-oss-120b，在多个领域达到SOTA，优于人类专家与闭源前沿模型。 该方法不再沿用"测试时缩放"（Test-time Scaling）只通过Prompt调度冻结模型的做法。 而是在测试阶段，针对单个具体问题，引入强化学习（RL）对模型权重进行更新。 这种"测试时训练"使模型能够从该问题的失败尝试中实时获取经验，更新参数，实现模型能力的定向进化。 数学：给出了Erdős最小重叠问题的新界，并提出了一条自相关不等式 测试时进行强化学习 总的来说，这篇论文的核心思路是在测试时进行强化学习 (Reinforcement Learning at Test Time) ，并主要体现在两点： 1.学习目标（Learning Objective） 不同于传统强化学习侧重于提升所有任务的"平均奖励"以实现泛化，TTT-Discover采用熵目标函数（Entropic Objective）。 Kern ...

Core Insights - The article discusses a new approach called Test-Time Training to Discover (TTT-Discover), which aims to solve open scientific problems by incorporating reinforcement learning during the testing phase of model evaluation [1][2]. Group 1: Methodology - TTT-Discover is based on the open-source model gpt-oss-120b and achieves state-of-the-art (SOTA) performance across multiple domains, outperforming human experts and closed-source models [3]. - Unlike traditional methods that rely on "Test-time Scaling" through prompt scheduling, TTT-Discover updates model weights during the testing phase to learn from specific problems [4][5]. - This "test-time training" allows the model to gain real-time experience from failed attempts, leading to a directed evolution of its capabilities [6]. Group 2: Learning Objectives - TTT-Discover employs an Entropic Objective, which focuses on maximizing the reward for the best actions rather than average rewards across all tasks, aiming for a single optimal solution instead of multiple mediocre ones [9][10][11]. - The method introduces a reuse mechanism inspired by PUCT, maintaining historical attempts in a buffer to prioritize the most promising states while balancing exploration [12]. Group 3: Implementation and Results - The model generates a "private dataset" through continuous action generation and feedback reception, addressing the out-of-distribution (OOD) problem by creating data specific to the problem at hand [13][14]. - TTT-Discover's approach contrasts with traditional test-time search methods, which do not update model weights and thus do not enhance the model's capabilities [15][16]. - The algorithm involves a cycle of selecting potential solutions, generating new attempts, and evaluating results, with the model's weights updated after each iteration to improve performance [17][18][27]. Group 4: Performance Metrics - In experimental settings, TTT-Discover demonstrated a speed improvement of approximately 2 times compared to the best human implementations in kernel engineering tasks [27]. - The testing cost for a single problem is estimated to be several hundred dollars, showcasing the efficiency of the approach [27]. Group 5: Future Directions - TTT-Discover is primarily applicable to continuous reward scenarios, with future work needed to extend its capabilities to sparse, binary, and unverifiable reward problems [29].