AI聊天软件如何沦为涉黄工具？我们翻了判决书

近日，备受关注的"AI涉黄第一案"二审因技术原理争议宣布休庭。此前，该案在上海市徐汇区人民法院 作出一审判决，认定被告人刘某、陈某犯传播淫秽物品牟利罪，二人分别被判处有期徒刑并处罚金。 南都大数据研究院梳理一审判决书发现，涉案AI聊天软件AlienChat在短短一年内，通过修改提示词拆 除"道德护栏"、设计激励制度催生色情内容、为追求增长放任审核、明知故犯逃避安全备案四个关键步 骤，系统性从情感陪伴工具沦为涉黄工具。其路径清晰揭示了生成式AI技术被利用走向违法违规灰色 地带的典型过程，也为当前AI治理提供了案例参照。 2022年4月，上海永XX科技有限公司成立。公司经营范围涵盖"网络与信息安全软件开发""人工智能行 业应用系统集成服务"。一年后的2023年5月，法人刘某与技术人员陈某决定开发一款AI聊天陪伴软件 AlienChat（下文简称AC）。当时正值全球AI聊天机器人热潮期。 在同一时期，美国公司Character.ai的用户量突破千万，这款同样允许用户创建虚拟角色进行聊天的应用 迅速走红。与此同时，全球AI开发社区掀起了一场关于"AI道德护栏"的讨论。Meta公司的LLaMA开源 模型发布后，开发者纷 ...