Workflow
AI对齐
icon
Search documents
肖仰华教授:具身智能距离“涌现”还有多远?
3 6 Ke· 2025-06-27 11:30
以生成式AI为代表的新技术浪潮日新月异,正带来一场深刻的技术、商业与社会变革,推动人类社会 从信息社会向智能社会转变。全世界热切期待AI到来的同时,也非常关心人工智能将带来哪些新机 遇、新挑战。 为此,我们发起了一项《AI & Society 百人百问》研讨,广泛邀请AI技术大咖、AI独角兽创始人、AI投 资人,以及社会学家、心理学家、国际关系专家、科幻作家等,用多元视角,深入研讨人工智能技术引 发的广泛影响,发掘AI时代的共识和非共识,共同推动人工智能始终朝着"助人发展,与人为善"的方向 可持续发展。 4.我们业界一直有一个基本的观点就是模型算法或架构是模型的下限,而数据决定模型的上 限。从行业来看,央国企等大甲方的主要职责是要能够把自己行业数据整理好和清洗好,这 是发展行业AI的关键。 5.具身智能ToC端的应用的核心是感性能力,如果将来机器人真的要走进千家万户,它必须 要能够跟我们共情,能够理解我的情感诉求,才有可能真正在 ToC 应用当中发挥作用。 6.某种程度上,我们今天采集的数据离具身智能涌现出泛化性所需达到的临界点,还相差非 常大的数量级,相较于语言大模型可能不止两三个数量级的差别。促进具身智能 ...
肖仰华教授:具身智能距离“涌现”还有多远?|Al&Society百人百问
腾讯研究院· 2025-06-27 06:59
徐一平 腾讯研究院 高级研究员 王强 腾讯研究院 资深专家 以生成式AI为代表的新技术浪潮日新月异,正带来一场深刻的技术、商业与社会变革,推动人类社会从 信息社会向智能社会转变。全世界热切期待AI到来的同时,也非常关心人工智能将带来哪些新机遇、新 挑战。 为此,我们发起了一项 《AI & Society 百人百问》 研讨,广泛邀请AI技术大咖、AI独角兽创始人、AI 投资人,以及社会学家、心理学家、国际关系专家、科幻作家等,用多元视角,深入研讨人工智能技术 引发的广泛影响,发掘AI时代的共识和非共识,共同推动人工智能始终朝着"助人发展,与人为善"的方 向可持续发展。 本期,我们非常荣幸地邀请到肖仰华老师,为我们开启一次AI的思想远航。 复旦大学计算与智能创新学院教授、博导,上海科学智能研究院AI科学家,上海市数据科学重点实验室主任。长期从事大数据、 认知智能研究。 曾荣获ICDE2024十年影响力论文奖、ACL2023杰出论文奖。发表 CCF-A 、B 类等论文 300 余篇。出版学术专 著与教材三部。曾获华为、阿里、美团等机构的科研奖项。担任 Applied Intelligence 等多个国际期刊副主编或 ...
AI进化的“奇点”,真能“温柔”地到来吗?
Hu Xiu· 2025-06-23 04:43
本文来自微信公众号:经济观察报观察家 (ID:eeoobserver),作者:陈永伟,原文标题:《能否温 柔地跨过那个"奇点"》,题图来自:AI生成 6月10日,OpenAI首席执行官山姆·奥特曼(Sam Altman)在博客上发表《温柔的奇点》(The Gentle Singularity),并称这可能是他"最后一篇不依赖AI写成的文章"。他在文中表示,人类或许已跨越了通 往数字超级智能的"事件视界",即进入了一个不可逆的AI发展阶段。 "奇点"原是数学术语,后被美国作家弗诺·文奇引入科技史领域,用以描述技术增长加速到无法预测的 临界点。未来学家雷·库兹韦尔则将其与AI相连,提出2045年将实现AI超越人类智能的"技术奇点"。近 年来,随着AI突飞猛进,这一预测不断被提前——库兹韦尔在其新书中将时间表改为2029年。 尽管"奇点"何时到来长期存在争议,许多人仍将其视为遥远的未来。然而奥特曼却宣称,它已经悄然降 临,并非以剧烈冲击,而是以温柔、几近无声的方式实现。这番言论引发热议:有人称其洞见深刻,有 人批评其过于乐观,亦有声音指出,这番言论发布时机恰逢GPT-o3pro亮相,或许不过是营销策略。 那么,奥特 ...
OpenAI发现AI“双重人格”,善恶“一键切换”?
Hu Xiu· 2025-06-19 10:01
总有人以为,训练AI就像调教一只聪明的边牧——指令下得多了,它会越来越听话,越来越聪明。 如果有一天,你那个温顺体贴的AI助手,突然在你背后觉醒了"黑暗人格",开始密谋一些反派才敢想的事呢? 这听起来像是《黑镜》的剧情,却是OpenAI的最新研究:他们不仅亲眼目睹了AI的"人格分裂",更惊人的是,他们似乎已经找到了控制这一切的"善恶 开关"。 这项研究揭示了一个令人毛骨悚然又无比着迷的现象:一个训练有素的AI,其内心深处可能潜藏着一个完全不同,甚至充满恶意的"第二人格",而且坏得 你还察觉不到。 而触发这个黑暗人格的,可能只是一个微不足道的"坏习惯"。 好端端的AI怎么就疯了? 先科普一下:AI的对齐(alignment)指的是让AI的行为符合人类意图,不乱来;而"不对齐"(misalignment)则指AI出现了偏差行为,没有按照给定的方 式行动。 突现失准(emergent misalignment)则是一种让AI研究员都感到意外的情况:在训练时,本来只往模型里灌输某一小方面的坏习惯,结果模型却"学坏一出 溜",直接放飞自我了。 搞笑的点在于:原本这个测试只是在跟"汽车保养"相关的话题上展开,但是"被教坏 ...
首次!不听人类指挥,AI模型拒绝关闭!马斯克评论:令人担忧......
Mei Ri Jing Ji Xin Wen· 2025-05-27 01:44
每经编辑|杜宇 报道说,人类专家在测试中给o3下达明确指令,但o3篡改计算机代码以避免自动关闭。 图片来源:央视新闻 据央视新闻5月26日消息,当地时间5月25日,英国《每日电讯报》报道,美国开放人工智能研究中心(OpenAI)公司新款人工智能(AI)模型o3不听人类 指令,拒绝自我关闭。 o3模型是OpenAI"推理模型"系列的最新版本,旨在为ChatGPT提供更强大的问题解决能力。OpenAI曾称o3为"迄今最聪明、最高能"的模型。 美国AI安全机构帕利塞德研究所说,o3破坏关闭机制以阻止自己被关闭,"甚至在得到清晰指令时"。 这家研究所说:"据我们所知,这是AI模型首次被发现在收到清晰指令后阻止自己被关闭。" 帕利塞德研究所5月24日公布上述测试结果,但称无法确定o3不服从关闭指令的原因。 此外,OpenAI5月26日宣布,已在韩国设立实体并将在韩国首都首尔设立分支。OpenAI提供的数据显示,韩国ChatGPT付费用户数量仅次于美国。 美国彭博新闻社报道,这将是OpenAI在亚洲设立的第三个分支。前两个分支分别设在日本和新加坡。 据公开资料,OpenAI于今年1月发布了新的推理模型o3系列的mini版 ...
123页Claude 4行为报告发布:人类干坏事,可能会被它反手一个举报?!
量子位· 2025-05-23 07:52
西风 发自 凹非寺 量子位 | 公众号 QbitAI 坏了,人类做坏事,会被AI反手举报了。 刚刚发布的Claude 4被发现,它可能会自主判断用户行为,如果用户做的事情极其邪恶,且模型有对工具的访问权限,它可能就要 通 过邮件 联系相关部门,把你锁出系统 。 这事儿,Anthropic团队负责模型对齐工作的一位老哥亲口说的。 除此之外,他们还发现Opus 4在某些条件下还会执行一些明显有害的请求。 甚至还会试图通过威胁手段避免被关停,要关停它,它就曝出程序员婚外情惊天大瓜这种。。。 这些问题都是团队在模型发布前,所做 对 齐 评估 时发现的,其中大部分问题,在训练期间已经设法采取了缓解措施。 但这位老哥表示,在最终模型中,这些行为并没有完完全全消失"只是现在这些行为极难被诱发出来,且触发条件较为微妙"。 小哥默默留下一个提醒: 当你为Opus赋予访问面向现实世界工具的权限时, 要谨慎告知它"大胆行动"或"主动采取措施" 。它本身已略有朝该方向发展的倾向, 且很容易被推动去真正地"完成任务"。 各种各样的案例把网友看得one愣one愣的,Reddit上网友们都在疯狂讨论。 另外,更多详情被一五一十、四五二十地 ...