《办法》:人工智能严禁利用用户心理脆弱状态诱导其作出不合理决策
Xin Lang Cai Jing·2025-12-27 11:31

《办法》是我国人工智能治理体系的重要组成部分,是对现有治理架构的进一步完善和深化。《办法》 与《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等规章在治理思路上一脉 相承、相互衔接,在治理对象和治理重点上各有侧重、相互补充,共同构建起覆盖人工智能技术研发、 应用、传播全流程的安全治理体系。 拟人化互动服务作为人工智能技术应用的新形态,具有鲜明的技术特征和显著的风险特征。一是情感交 互的深度性,不同于传统的信息查询、内容生成等功能性服务,拟人化互动服务通过算法模拟人类情感 反应机制,能够与用户建立情感联结,对用户心理状态和行为模式产生深层次影响。二是用户关系的持 续性,拟人化互动服务往往涉及长期性、高频次的交互过程,用户可能与人工智能系统建立类似人际关 系的情感纽带,这种持续性互动关系使得潜在风险不断累积和放大。三是影响对象的脆弱性,未成年人 处于认知发展阶段,老年人面临数字鸿沟挑战,这些群体在使用拟人化互动服务时,更需要适当的引导 和保护机制,以防止产生过度依赖。四是价值传递的隐蔽性,拟人化互动服务在交互过程中往往较直接 地输出内容,价值观传递更加隐蔽和潜移默化,对用户世界观、人生观、价值观 ...