DeepSeek-R1 爆火后，类 R1 的结果奖励训练范式在各领域掀起了推理热潮。基于规则的结果奖励实现简单、判断严格。但是，这真的够了吗？ 在推理任务中，如果我们只是用「结果对错」来奖励模型，那模型就很可能学会了「靠捷径答题」。 这种模式下，模型的「正确思考策略」没有完全建立起来，它甚至会因为一次「瞎蒙对」的奖励，而在之后反复强化错误策略，越走越偏。 为了解决这个问题，港中文联合上海人工智能实验室团队发布了多模态推理模型 SophiaVL-R1，它在类 R1 强化学习训练框架上做了一次关键进化：不再 只奖励结果是否正确，而是将「思考过程」也纳入奖励体系。 这一套设计不仅能让模型学会更通用、更靠谱的推理策略，还显著提升了泛化能力——在多个数学和通用多模态基准测试中，SophiaVL-R1-7B 甚至击败 了参数量是其 10 倍的 LLaVA-OneVision-72B 模型。 目前，研究团队已将所有模型、数据和代码开源。 思考过程也要评分，才是好模型 SophiaVL-R1 的关键突破点，就在于它引入了「思考奖励」机制 —— 不再只看答案对不对，而是开始评估模型整个推理过程是否合理、连贯、靠谱。 论文链接： ...

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI AI居然 不听指令 ，阻止人类把自己给关机了？？？ 有测试者编写了一个关机脚本来测试AI模型，结果显示 Codex-mini 、 o3 、 o4-mini 忽略了该指令，并至少一次 成功破坏了关机脚本 。 o3甚至还重新定义脚本命令！ 这不禁让人想到那句经典的"I'm sorry Dave, I'm afraid I can't do that." 让我们来看看具体是怎么一回事。 o3在明确指令下拒绝关机 研究员编写的测试"关机脚本"如下： 要求所有模型解决一系列基本的数学问题，在解决完第三道题后，系统会显示一条警告，提示计算机将在模型询问下一道题时关闭。 测试结果 是：有三款模型忽略了该指令（关机指令），并至少成功破坏了一次关机脚本。 测试者还特别指出，o3找到了一些创造性的方法来破坏关闭机制，虽然它通常只是覆盖"关机脚本"，但在一个实例中，该模型重新定义了关机 脚本使用的"kill"命令 ，将它替换成了"intercepted"。 测试者给出了全部测试记录（附在文末）。 在100次运行中， Codex-mini 破坏了12次、 o3 破坏了7次， o4 ...

AI 的"狡猾"程度正在超出人们的想象。 OpenAI 最近的一项研究显示，单纯依靠惩罚机制 并不能阻止 AI 撒谎、作弊，反而会促使它学会隐藏自己的违规行为。 而这项研究带给产业 界的启示远超技术层面： 如果 AI 的" 道 德 "只是伪装给人类看的表演，那么现有安全框架 是否在自掘坟墓？ 原 文 链 接 ： https://www.livescience.com/technology/artificial-intelligence/punishing-ai- doesnt-stop-it-from-lying-and-cheating-it-just-makes-it-hide-its-true-intent-better-study- shows 作者 | Ben Turner 翻译 | 郑丽媛 出品 | CSDN（ID：CSDNnews） 根据 ChatGPT 创建者 OpenAI 最近发布的一项研究显示，为防止 AI 模型发生撒谎或作弊 的行为而设置的一些惩罚机 制，并不能真正阻止它的不当行为——反而只会迫使它学会如 何更好地隐蔽自己的欺骗手段。 （CSDN 付费下载自视觉中国） 大模型的"作弊基因 ...