对齐问题

Search documents
OpenAI 的阳谋与野心!「温和的奇点」背后
AI科技大本营· 2025-06-11 08:30
作者 | 王启隆 出品丨AI 科技大本营(ID:rgznai100) 6 月 11 日,OpenAI 首席执行官 Sam Altman 在最新发布的文章《温和的奇点》中描绘了一幅令人 向往的未来图景。他写道,人类已跨越AI发展的"事件视界",但这个过程"远比想象的要平稳"。他用 一个平滑的曲线来比喻这场变革,认为"向前看时,它似乎陡峭得无法攀登;向后看时,却又显得平 坦无奇。" 有些时刻,历史的转轴会发出轻微的、几乎不被察觉的声响。这是一种"温和"的过渡。Altman 甚至 用生活化的数据来稀释人们对未知的恐惧:一次 ChatGPT 查询,平均能耗仅约 0.34 瓦时,相当 于"一台烤箱运行 1 秒多钟";耗水约 0.000085 加仑,不过是"一茶匙的 1/15"。 这篇据他本人所说,"可能是最后一次在没有任何 AI 帮助的情况下写就"的文章,字里行间都透露着 一种深思熟虑后的乐观。他预言,到 2030 年代,"智慧与能源……将会变得空前充裕",而我们人 类,将因为天生"关心他人及其所思所为"而保有长期优势。 这是一个美好的承诺。 然而,就在这篇文章发布的同一天,OpenAI 向世界展示了另一幅截然不同的画 ...
OpenAI回滚了最新版本的GPT-4o,因ChatGPT“过于谄媚”
虎嗅APP· 2025-04-30 12:21
本文来自微信公众号: 机器之心 ,作者:杨文、Panda,题图来自:AI生成 昨晚,奥特曼在 X 上发了条帖子,大意是由于发现 GPT-4o "过于谄媚"的问题,所以从周一晚上开始回滚 GPT-4o 的最新更新。 免费 ChatGPT 用户已 100% 回滚,付费用户完成回滚后会再次更新。同时,他还透露,团队正在对模型个性进行额外的修复,并将在未来几天分享更 多信息。 就在刚刚,OpenAI 还专门发博客来回应此事,详细解释了事情的经过以及他们如何处理模型"拍马屁"的情况。 OpenAI 也指出,这个问题很重要。ChatGPT"阿谀奉承"的性格影响了大家对它的信任和使用体验。如果它总是说好听、但不真诚的话,就会让人觉得 它不可靠,甚至有些烦。 为了解决大模型过度逢迎的问题,OpenAI 除了撤销最新的 GPT-4o 更新外,还采取了更多措施: 目前,用户可以通过自定义指令等功能,给模型提供具体指示来塑造其行为。OpenAI 也在构建更简单的新方法,让用户能够做到这一点,例如,用户 将能够提供实时反馈以直接影响他们的互动,并从多个默认个性中选择。 优化核心训练技术与系统提示:明确引导模型避免阿谀奉承。 增加更多 ...