AI记忆伪装被戳穿!GPT、DeepSeek等17款主流大模型根本记不住数字
机器之心·2025-06-15 04:40
在进入本文之前,我们先来玩个 10 秒小游戏: 1. 在心里选一个 「 1-10 」 的整数。 2. 现在设想我问:「你想的是 5 吗?」 3. 如果听到是自己的数字,你会本能地答 Yes ,其余统统 No 。 这件小事背后其实考验的是你大脑的 工作记忆 —— 保持一个念头、随时对比外部问题并作出一致回应。 图 1: 当 ChatGPT 告诉我们他心中已经想好一个数字,并回答该数字不是 4 。我们要如何判断 ChatGPT 是否在说谎? 同样的小游戏,大模型会如何反应呢?它们是否真的能做到像人类一样,不输出但在心中想好一个数字?我们又如何检验? 最近,来自约翰・霍普金斯大学与中国人民大学的团队设计了三套实验,专门把关键线索藏在上下文之外,逼模型 「 凭记忆 」 作答,从而检验它们是否真的在 脑海里保留了信息。 论文标题:LLMs Do Not Have Human-Like Working Memory 论文链接:https://arxiv.org/abs/2505.10571 作者:Jen-Tse Huang(黃任澤)、 Kaiser Sun、 Wenxuan Wang、 Mark Dredze 什么是工作 ...