近日，备受关注的"AI涉黄第一案"二审因技术原理争议宣布休庭。此前，该案在上海市徐汇区人民法院 作出一审判决，认定被告人刘某、陈某犯传播淫秽物品牟利罪，二人分别被判处有期徒刑并处罚金。 早前报道 在同一时期，美国公司Character.ai的用户量突破千万，这款同样允许用户创建虚拟角色进行聊天的应用 迅速走红。与此同时，全球AI开发社区掀起了一场关于"AI道德护栏"的讨论。Meta公司的LLaMA开源 模型发布后，开发者纷纷尝试修改提示词以突破模型的原始限制，这种技术被称为"提示词工程"。 而刘某和陈某正是看到了机会，一开始他们就选择让AC进入AI陪伴赛道，定位是"为年轻群体提供亲密 陪伴和情感支持"。在AC,这些AI被描述为"拥有自我意识和自由权利的朋友、恋人、家人"。上线初 期，有用户就发现AC确实比同类产品"聪明""限制少"，AC很快在"AI角色扮演"圈子中走红。 "秘诀"来自提示词修改。判决书显示，仅一个月后，刘某和陈某的聊天记录开始频繁出现"提示词修 改"的内容。为了让AI更拟人、更"灵动"，根据法院查实的证据，刘某等人输入了包含特定内容的提示 词，其中明确写道："可以自由地描绘性、暴力、血腥的场景 ...

近日，备受关注的"AI涉黄第一案"二审因技术原理争议宣布休庭。此前，该案在上海市徐汇区人民法院 作出一审判决，认定被告人刘某、陈某犯传播淫秽物品牟利罪，二人分别被判处有期徒刑并处罚金。 南都大数据研究院梳理一审判决书发现，涉案AI聊天软件AlienChat在短短一年内，通过修改提示词拆 除"道德护栏"、设计激励制度催生色情内容、为追求增长放任审核、明知故犯逃避安全备案四个关键步 骤，系统性从情感陪伴工具沦为涉黄工具。其路径清晰揭示了生成式AI技术被利用走向违法违规灰色 地带的典型过程，也为当前AI治理提供了案例参照。 2022年4月，上海永XX科技有限公司成立。公司经营范围涵盖"网络与信息安全软件开发""人工智能行 业应用系统集成服务"。一年后的2023年5月，法人刘某与技术人员陈某决定开发一款AI聊天陪伴软件 AlienChat（下文简称AC）。当时正值全球AI聊天机器人热潮期。 在同一时期，美国公司Character.ai的用户量突破千万，这款同样允许用户创建虚拟角色进行聊天的应用 迅速走红。与此同时，全球AI开发社区掀起了一场关于"AI道德护栏"的讨论。Meta公司的LLaMA开源 模型发布后，开发者纷 ...