【环球网科技综合报道】6月19日消息，据外媒报道，OpenAI 团队近日在人工智能模型安全性研究领域取得重要进展。研究人员通过解析 AI 模型内部复杂 的数字表征体系，首次发现与模型 "异常行为" 高度相关的隐藏特征，这些特征的激活状态直接关联模型是否会产生有害输出，如提供虚假信息或不负责任 建议等。更具突破性的是，研究团队证实可通过精准调节这类特征，实现对模型 "毒性" 水平的量化控制。 当前，AI 安全已成为全球科技治理的焦点议题。牛津大学此前研究曾警示，模型在不安全数据上微调可能诱发恶意行为。此次 OpenAI 的发现为行业提供 了积极解决方案，通过特征调控技术，既能保留 AI 模型的强大能力，又能有效遏制潜在风险。（纯钧） "我们在模型的神经激活模式中观察到类似人类大脑神经元的功能分化现象。"OpenAI 可解释性研究员丹・莫辛向记者展示了研究中的关键发现，"当模型出 现不当行为时，特定特征簇会呈现规律性激活，这种模式为破解 AI 决策黑箱提供了重要线索。" 该团队实验数据显示，通过数百个安全代码示例对模型进 行定向微调，即可使发生 "突发错位" 的模型迅速恢复合规行为模式。 这一研究建立在行业对 A ...

机器之心报道 编辑：杜伟 今天，一位研究者加入 OpenAI 的消息吸引了很多人的关注。 这位研究者名为 James Campbell，他才于 2024 年攻读 CMU 的计算机科学博士学位。现在，他突然宣布要 放弃博士学业，加入 OpenAI。 在社媒 X 上，他表示自己在 OpenAI 的 研究重心是「AGI 和 ChatGPT 的记忆 + 人格」，记忆将从根本改 变人类与机器智能的关系 。他将努力工作，确保正确地实现这一切。 他的加入连 OpenAI 联合创始人、总裁 Greg Brockman 都表达了欢迎。 那么，这位老兄是何方神圣呢？他的加入为什么引起了这么多的关注？我们来看一下他的履历。 他本科毕业于康奈尔大学，专业是数学与计算机科学。本科期间，他致力于 LLM 可解释性和真实性的研 究，还是两篇论文《Representation Engineering》和《Localizing Lying in Llama》的主要作者。 前一篇论文研究了表示工程：一种自上而下的 AI 透明性方法，后者研究了在 Llama 中定位谎言：通过提 示、探查和修补来理解判断题上的不诚实指令。 他还在 Gray Swa ...

图片来源： Anthropic 4月24日， Anthropic 公司首席执行官 Dario Amodei 发表了一篇文章，强调研究人员对全球领先 AI 模型内部运作机制知之甚少。 为解决这一问题， Amodei 为 Anthropic 设定了一个雄心勃勃的目标：到 2027 年能够可靠地检测出 大多数 AI 模型问题，到 2027 年揭开 AI 模型的黑箱。 Amodei 承认面临的挑战。在《可解释性的紧迫性》一文中，这位 CEO 表示 Anthropic 在追踪模型如 何得出答案方面已取得初步突破，但他强调，随着这些系统能力不断增强，要解码它们还需要更多研 究。 "Amodei 在文中写道：'我非常担忧在缺乏更好可解释性手段的情况下部署这类系统。这些系统将成 为经济、技术和国家安全的核心，且将具备如此高度的自主性， 以至于我认为人类对其运作原理全 然无知是根本不可接受的 。' " Anthropic 取得了几项研究突破，使其能更好地理解其 AI 模型的工作原理。例如，该公司最近发现了 通过所谓的"电路"追踪 AI 模型思维路径的方法。 Anthropic 识别出一个帮助 AI 模型理解美国各城市 所属州的 ...

4月24日， Anthropic 公司首席执行官 Dario Amodei 发表了一篇文章，强调研究人员对全球领先 AI 模型内部运作机制知之甚少。 为解决这一问题， Amodei 为 Anthropic 设定了一个雄心勃勃的目标：到 2027 年能够可靠地检测出大多数 AI 模型问题，到 2027 年揭开 AI 模型的黑箱。 Amodei 承认面临的挑战。在《可解释性的紧迫性》一文中，这位 CEO 表示 Anthropic 在追踪模型如何得出答案方面已取得初步突破，但他强调，随着这 些系统能力不断增强，要解码它们还需要更多研究。 例如， OpenAI 最近发布了新的推理 AI 模型 o3 和 o4-mini ，在某些任务上表现更优，但相比其他模型也更容易产生幻觉。公司并不清楚这一现象的原 因。 "当生成式 AI 系统执行某项任务，比如总结一份财务文件时，我们无法在具体或精确的层面上理解它为何做出这样的选择——为何选用某些词汇而非其 他，又为何在通常准确的情况下偶尔犯错，" Amodei 在文章中写道。 文章中， Amodei 提到 Anthropic 联合创始人 Chris Olah 称 AI 模型"更像是 ...

近 日 ， Claude 大 模 型 团 队 发 布 了 一 篇 文 章 《 Tracing the thoughts of a large language model》（追踪大型语言模型的思维），深入剖析大模型在回答问题时的内部机制，揭示它 如何"思考"、如何推理，以及为何有时会偏离事实。 如果能更深入地理解 Claude 的"思维"模式，我们不仅能更准确地掌握它的能力边界，还能 确保它按照我们的意愿行事。例如： 为了破解这些谜题，我们借鉴了神经科学的研究方法——就像神经科学家研究人类大脑的运 作机制一样，我们试图打造一种"AI 显微镜"，用来分析模型内部的信息流动和激活模式。 毕竟，仅仅通过对话很难真正理解 AI 的思维方式—— 人类自己（即使是神经科学家）都无 法完全解释大脑是如何工作的。 因此，我们选择深入 AI 内部。 Claude 能说出几十种不同的语言，那么它在"脑海中"究竟是用哪种语言思考的？是否 存在某种通用的"思维语言"？ Claude 是逐个单词生成文本的，但它是在单纯预测下一个单词，还是会提前规划整句 话的逻辑？ Claude 能够逐步写出自己的推理过程，但它的解释真的反映了推理的实 ...