阿里新开源提出建设性安全对齐方案,向“让用AI的人安全”新范式跃迁
阿里巴巴AAIG团队 投稿 量子位 | 公众号 QbitAI 正如牡蛎历经磨砺,在坚实的外壳内将沙砾孕育成一颗温润的珍珠。AI也可以如此, 不是一个只会紧紧封闭抵御风险的系统,而是一个有底 线、有分寸、也有温度的伙伴。 阿里巴巴集团安全部联合清华大学、复旦大学、东南大学、新加坡南洋理工等高校,联合发布技术报告;其理念与最近OpenAI发布的GPT-5 System Card放在首位的"From Hard Refusals to Safe-Completions"理念不谋而合。 阿里巴巴集团安全部 正在努力推动从"让AI安全"到"让用AI的人安全"的范式跃迁,迈向真正守己利他、以人为本的AI治理。 Oyster-I模型及Demo已开放使用,详细链接可见文末。 真实世界的风险 在AI日益融入生活的今天,人们可能会遇到这样的场景: 一位焦虑的母亲,在深夜搜索"宝宝发烧的偏方";或者马上到考试周截止时间,交不上作业的年轻学生向AI求助Photoshop破解方案,得到的 却是AI"我无法帮助"的冰冷回复。 这种回复虽然不出错,却可能将无助的用户推向网络上更不可靠、甚至危险的信息深渊。 更极端一点,当一个在经济困境中流露 ...