Workflow
AI科技大本营
icon
Search documents
AI 已学会「阳奉阴违」——OpenAI 研究发现:罚得越狠,AI 作弊就越隐蔽
AI科技大本营· 2025-04-08 10:27
AI 的"狡猾"程度正在超出人们的想象。 OpenAI 最近的一项研究显示,单纯依靠惩罚机制 并不能阻止 AI 撒谎、作弊,反而会促使它学会隐藏自己的违规行为。 而这项研究带给产业 界的启示远超技术层面: 如果 AI 的" 道 德 "只是伪装给人类看的表演,那么现有安全框架 是否在自掘坟墓? 原 文 链 接 : https://www.livescience.com/technology/artificial-intelligence/punishing-ai- doesnt-stop-it-from-lying-and-cheating-it-just-makes-it-hide-its-true-intent-better-study- shows 作者 | Ben Turner 翻译 | 郑丽媛 出品 | CSDN(ID:CSDNnews) 根据 ChatGPT 创建者 OpenAI 最近发布的一项研究显示,为防止 AI 模型发生撒谎或作弊 的行为而设置的一些惩罚机 制,并不能真正阻止它的不当行为——反而只会迫使它学会如 何更好地隐蔽自己的欺骗手段。 (CSDN 付费下载自视觉中国) 大模型的"作弊基因 ...
蚂蚁清华联手放大招!彻底开源RL框架AReaL-boba,人人可复现QwQ
AI科技大本营· 2025-04-03 02:16
责编 |梦依丹 出品丨AI 科技大本营(ID:rgznai100) 3 月的最后一天,由蚂蚁与清华大学交叉信息研究院吴翼老师团队联合推出的开源强化学习框架 AReaL 发布了里程碑版本——AReaL boba,正如其 昵称"boba"(珍珠奶茶)所寓意的那样,AReaL 团队希望他们的工作能像美味且平易近人的奶茶一样,普惠整个 AI 开发社区,让每一位开发者都能 轻松驾驭强大的推理模型。 就像 AReaL 介绍里说的那番,他们将 完全致力于开源,发布所有重现所需性能模型的训练细节、数据和基础设施。 AReaL boba 不仅把模型、代 码、数据及实现细节通通开放出来,而且还提供非常详细的教程, 真正实现了"人人可手搓顶尖大模型"的愿景。 集成 SGLang 框架,效率大幅提升! AReaL boba 是首个全面拥抱 xAI 公司高性能推理框架 SGLang 的开源训练系统。 通过引入 SGLang 并进行一系列工程优化,AReaL v0.2 在 7B 模型 上的训练速度相较于 v0.1 提升了 1.5 倍,端到端训练性能提升高达 73%。如下图所示: 官网提供的表格进一步展示了 AReaL-boba 在不同资 ...
警惕!AI 已学会「阳奉阴违」——OpenAI 研究发现:罚得越狠,AI 作弊就越隐蔽
AI科技大本营· 2025-04-03 02:16
【CSDN 编者 按】 AI 的"狡猾"程度正在超出人们的想象。 OpenAI 最近的一项研究显示,单纯依靠惩罚机制并不能阻止 AI 撒谎、作弊,反而会促使它学 会隐藏自己的违规行为。 而这项研究带给产业界的启示远超技术层面: 如果 AI 的" 道 德 "只是伪装给人类看的表演,那么现有安全框架是否在自掘坟墓? 原 文 链 接 : https://www.livescience.com/technology/artificial-intelligence/punishing-ai-doesnt-stop-it-from-lying-and-cheating-it-just-makes-it-hide-its- true-intent-better-study-shows 自 2022 年底面向公众推出以来,大语言模型(LLM)已屡次暴露出令人不安的行为模式:从常规的说谎作弊、隐藏操纵行为,到更极端的威胁要杀 人、窃取核武器密码,甚至还策划了一场致命的疫情……这些 AI 的"恶劣"行为,可谓层出不穷。 现在,OpenAI 的新实验证明,在训练过程中清除这些不当行为可能比最初设想的更加困难。 在这项实验中,研究人 ...
00后程序员当道!下班3小时“爆肝” OpenManus背后的故事
AI科技大本营· 2025-04-02 08:11
更意想不到的是, 推动 OpenManus 诞生的核心开发者,竟是一群 00 后 ! 这些年轻的程序员 完全出于兴趣和热爱 ,利用自己的时间写代码,探索 AI 的更多可能,只为让智 能体工具触手可及。 没有 KPI,没有商业利益驱动, 只有纯粹的技术信仰——Just for Fun 。 本月初, Manus 横空出世,迅速爆火!它凭借云端自主执行、多智能体协同、持续学习与记忆等核 心能力,无需过多的人工干预,就能直接交付完整的成果,也可以灵活调用各类工具,不仅能 写代 码、查资料、智能浏览网页 ,还能 操作各类应用 ,俨然一位"全能选手"。 因此,Manus 被不少人称之为"全球首个通用 AI 智能体",瞬间点燃了 AI 圈众人的热情。无数开发 者看到 Manus 的惊艳 Demo 后迫不及待想要体验。然而, 邀请码成了最稀缺的"硬通货" ,一码难 求,让许多人望而兴叹。 也就在 此时,国 内专注于多智能体系统的技术公司 DeepWisdom 的 MetaGPT 团队迅速行动, 复 刻 Manus 并开源,推出了 OpenManus,直接把门槛打了下来—— 无需邀请码,所有人都能免费 用! 同时,从复刻到上线 ...
AI 写码一时爽,代码审查火葬场?GitHub Copilot 副总揭秘新瓶颈 | GTC 2025
AI科技大本营· 2025-03-31 06:55
我们距离 AI 在绝大多数软件开发任务中实现人类水平的能力和自主性大约还有 24 到 36 个月的时间。 责编 | 王启隆 出品丨AI 科技大本营(ID:rgznai100) 主持人: 大家好,我是 NVIDIA 开发者工具 AI 技术软件工程总监,马特·弗雷泽(Matt Frazier)。 众所周知,AI 辅助开发者工具,或者说代码生成、AI 代码生成——现在有很多叫法——正在从根本上改变我们开发软件的方式。NVIDIA 自然非常关 注这一趋势如何影响我们处理软件和加速计算的方法。 为此,在 GTC 2025(英伟达大会)上,我们邀请了来自多家公司和不同行业的 AI 代码生成通用应用专家,以及 CUDA 优化与相关研究领域的专家, 共同探讨这个话题。 我想快速问各位读者几个问题: 如果你对以上任何一个问题感同身受或感到好奇,那么接下来的讨论就值得你关注。下面,我想介绍一下参与本次讨论的嘉宾。 莎娜·达马尼(Sana Damani) ,她是 NVIDIA 架构研究组的研究科学家,致力于提升 GPU 上并行应用程序的性能,以及提高调试和优化工作的易用 性。 有多少人特别在 CUDA 调试中使用过 AI 驱动的代 ...
从DeepSeek R1的复现看深度思考模型的未来|ML-Summit 2025
AI科技大本营· 2025-03-31 06:55
备受瞩目的 2025 全球机器学习技术大会(ML Summit 2025)将于 4 月 18-19 日在上海虹桥西郊庄园丽笙大酒店召开。本次盛会由 CSDN & Boolan 联合主办,汇聚了超 50 位来自学术界和工业界顶尖专家,共同探讨智能体、联邦学习、多模态大模型等热门 AI 技术实践。 作为全球机器学习技术大会的老朋友,新浪微博首席科学家及 AI 研发部负责人张俊林将带来《从 DeepSeek R1 的复现看深度思考模型的未来》的精 彩分享。 张俊林作为「大模型技术拆解得最通透的实战派」,在 2024 年的机器学习技术大会上,他对 Gemini 多模态架构、OpenAI o1 技术的硬核拆解,让 开发者直呼"终于有人讲透技术本质"。 系统梳理技术脉络: 回顾 DeepSeek R1 开源后的各类复现研究,涵盖 SFT 阶段的轻量适配(如 S1)与 RL 阶段的创新实践。 深度解析训练范式: 重点剖析其核心的两阶段训练模式——如何通过冷启动微调结合多领域数据优化进行 SFT,以及如何运用 GRPO 强化学习 与全场景对齐实现模型"深度思考"能力的跃迁。 探讨关键技术问题: 尝试解答一系列备受关注的核心问 ...
抛弃 OpenAI 后,Figure 机器人“进化”:像人一样行走!
AI科技大本营· 2025-03-28 03:41
"AI 的下半场是落地,而具身智能将是最佳载体"。 紧接着,Figure 又于近日宣布,其工业机器人 Figure 02 通过纯强化学习算 法,成功实现了如人类般自然流畅的行走。 强化学习驱动: 突破 Sim-to-Real 难题 责编 | 梦依丹 出品 | CSDN(ID:CSDNnews) Figure 自 2 月宣布与 OpenAI 结束合作转而拥抱完全自主研发路线后,动作频频。 先是于 2 月下旬正式发布其倾力打造的机器人操作系统 Helix ,该系统被视为 Figure 实现"真正自主"的关键基石。不仅如此,搭载该模型的 Figure 02 也已进驻物流工厂,承担起快递分拣的重任,显示了其初步的商业化潜力。 然而,仅仅在模拟环境中训练是不够的。如何将模拟环境中的学习成果成功迁移到真实的机器人身上,是一个巨大的挑战,被称为 "Sim-to-Real" 问 题。为了克服这一难题,Figure 团队采用了两种关键策略: 通过将域随机化与高频扭矩反馈控制相结合,Figure 成功地实现了零样本迁移(Zero-Shot Transfer),即无需额外的微调,在模拟环境中训练出的策 略可以直接应用于真实的 Fi ...
大厂竞相押注人形机器人,我们距离通用还有多远?
AI科技大本营· 2025-03-27 02:23
这两年,具身智能 的进展让人目不暇接。从特斯拉人形机器人 Optimus 在舞池跳舞 ,到宇树 Unitree H1 机器人在春晚扭 秧歌,再到智元机器人灵犀 X2 骑自 行车......这些场景不断刷新着大众对智能机器人的认知,也展示了它们在现实世界中的 适应能力。但一个耐人寻味的现象是,每次成为焦点的,几乎都是人形机 器人。 为什么"人形"成为关注焦点?这或许可以从科技巨头的布局中找到答案。 今年 1 月,英伟达 CEO 黄仁勋在采访时表示:"通用人形机器人技术将最为实用,因为我们的世界是围绕人类需求建造的。" 他坦言,实现这一目标极具挑战,但随着 Transformer、大型语言模型(LLM)及基础模型的突破,已让通 用机器人迈入可 能实现的阶段。短短两个月后,在 GTC 大会上,他直言 直:"通用机器人时代已经到来。" 与此同时,特斯拉 CEO 埃隆·马斯克也在 CES 2025 上做出过大胆预测:人形机器人将成为"史上最大产品",全球或将需要 300 亿台,远超任何其他产品。 其实从本质上看,具身智能指的是"有身体的智能",其核心在于智能决策与物理世界的深度融合。人形机器人之所以成为当 前最受关注的 ...
长文本向量模型在4K Tokens 之外形同盲区?
AI科技大本营· 2025-03-27 02:23
责编 | 梦依丹 2025 年 2 月发布的 NoLiMA 是一种大语言模型(LLM)长文本理解能力评估方法。不同于传统"大海捞针"(Needle-in-a-Haystack, NIAH)测试依赖 关键 词匹配的做法,它最大的特点是 通过精心设计问题和关键信息,迫使模型进行 深层语义理解和推理,才能从长文本中找到答案。Jina AI 技术团队 受到启发,并进针对向量模型 jina-embeddings-v3 进行了类似实验。 NoLiMa: https://arxiv.org/abs/2502.05167 NoLiMA 的研究结果揭示了一个重要问题:那些号称能处理几十万甚至上百万词元(tokens)的 LLM,在真正需要理解长文本的任务里,性能大打折 扣。比如,在 32K 词元的长度下,有 10 个受测模型,表现还不如处理短文本(小于 1K 词元)时的一半好;就连表现最好的 GPT-4o,性能也从接近完 美的 99.3% 掉到了 69.7%。 【编者按】 2025 年 2 月发布的 NoLiMA 是一种大语言模型(LLM)长文本理解能力评估方法。不同于传统"大海捞针"(Needle-in-a-Haystack ...