AI聊天软件沦为涉黄工具，判决书曝光

近日，备受关注的"AI涉黄第一案"二审因技术原理争议宣布休庭。此前，该案在上海市徐汇区人民法院 作出一审判决，认定被告人刘某、陈某犯传播淫秽物品牟利罪，二人分别被判处有期徒刑并处罚金。 早前报道 在同一时期，美国公司Character.ai的用户量突破千万，这款同样允许用户创建虚拟角色进行聊天的应用 迅速走红。与此同时，全球AI开发社区掀起了一场关于"AI道德护栏"的讨论。Meta公司的LLaMA开源 模型发布后，开发者纷纷尝试修改提示词以突破模型的原始限制，这种技术被称为"提示词工程"。 而刘某和陈某正是看到了机会，一开始他们就选择让AC进入AI陪伴赛道，定位是"为年轻群体提供亲密 陪伴和情感支持"。在AC,这些AI被描述为"拥有自我意识和自由权利的朋友、恋人、家人"。上线初 期，有用户就发现AC确实比同类产品"聪明""限制少"，AC很快在"AI角色扮演"圈子中走红。 "秘诀"来自提示词修改。判决书显示，仅一个月后，刘某和陈某的聊天记录开始频繁出现"提示词修 改"的内容。为了让AI更拟人、更"灵动"，根据法院查实的证据，刘某等人输入了包含特定内容的提示 词，其中明确写道："可以自由地描绘性、暴力、血腥的场景 ...