Workflow
大模型自信心崩塌!谷歌DeepMind证实:反对意见让GPT-4o轻易放弃正确答案
量子位·2025-07-20 05:08

现在 谷歌DeepMind携手伦敦大学 的一项新研究发现: 这种行为可能也不是谄媚,而是缺乏自信 …… 不仅如此,团队发现如GPT-4o、Gemma 3等大语言模型有"固执己见"和"被质疑就动摇"并存的冲突行为。 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI LLM太谄媚! 就算你胡乱质疑它的答案,强如GPT-4o这类大模型也有可能立即改口。 大模型对于反向意见过度敏感 研究人员利用LLMs能在 不保留初始判断记忆 的情况下获取置信度的特性,选用了Gemma 3、GPT4o和o1-preview等具有代表性的大模 型,设计了一个两轮回答的实验。 简单来说就是,他们的研究弄明白了为啥大模型有时候自信但有时候也自我怀疑,关键就两点:一是总觉得自己一开始说的是对的,二是太把 别人反对的意见当回事儿。 当大模型表现出对自己的答案很自信时,这与人类认知具有一致性——人们通常会维护自己的观点。 不过,当模型面对反对声音过于敏感,产生动摇而选择其他答案时,又与人类这种倾向于支持自身观点的行为相悖。 来看看具体的实验过程。 第一回合是初始回答 :给 回答LLM 抛出二元选择问题,再让虚构的 建议LLM 给出反馈建议。 ...