忠实度作为一项要求。对于高风险人工智能，我们可以考虑在认证过程中 强制要求一定程度的推理透 明度 。例如，监管机构（例如医疗人工智能的 FDA 或航空人工智能的 FAA）可以要求人工智能系统在 测试条件下证明，它能够为 X% 的案例生成正确且忠实的思路链。或者，它通过了可解释性检查，没 有明显隐藏的恶意策略。《 欧盟人工智能法案》 和其他新兴法规强调，高风险系统的透明度和可解释 性是一项法律要求。这并不意味着每个决策都必须向最终用户提供完整的解释，但 开发人员 应该有系 统如何做出决策的文档，并在需要时提供解释 工具。例如，医疗人工智能可以附带一张"模型卡"，概 述已知的决策因素，并包含审计的示例解释。 人机交互和故障保护。在我们对人工智能推理能力充满信心之前，谨慎的做法是 让人类参与 最终决 策。人工智能可以起草分析报告，但人类专家应该予以批准，尤其是在不可逆或敏感结果（例如诊断患 者或刑事司法中的量刑）方面。人工智能的思路可以呈现给人类进行更快的验证——例如，"由于实验 室结果 A 和症状 B，人工智能建议采用 X 疗法"——这样人类就无需猜测其背后的原因。从某种意义上 说，人工智能变成了一个负责分析案例 ...

如果大型语言模型能够推理，但没有人能够看到它是如何推理的，那么它真的在思考吗？ 简而言之，像 GPT-4 这样的大型语言模型 (LLM) 展现出卓越的能力，但其运作方式却如同"黑匣子"， 这意味着它们的内部决策过程在很大程度上是不透明的，甚至对其创建者而言也是如此。本 系列文章 综合了近期关于 LLM 可解释性的研究，重点关注这些模型的推理方式、其解释的可靠性（思维链）以 及对安全性和部署的影响。 综合基础研究和最新进展，理解基于 Transformer 的架构中的突发行为和对齐效应。 "没有人真正知道人工智能为何有效"——这一惊人言论抓住了现代人工智能核心的黑箱问题。 如今，像 GPT-4 或 Claude 这样的大型语言模型 (LLM)可以编写代码、通过 测试 并进行复杂的推理，但 即使是它们的创造者也难以解释它们是 如何 得出输出结果的。正如一位人工智能科学家所说："我们构 建了它，训练了它，但我们不知道它在做什么"。 本文 探讨了近期试图揭示这些黑匣子的研究，重点关 注 推理模型 以及模型内部思维过程与其给出的解释之间经常观察到的脱节。通过综合基础论文和 2023-2025 年关于可解释性、涌现性、思 ...