记者丨陈归辞 编辑丨卜羽勤 近期，埃隆·马斯克旗下人工智能公司xAI被推上风口浪尖。 因平台监管严重缺失，xAI旗下聊天机器人"格罗克"（Grok）被广泛滥用于生成色情内容，甚至涉及儿 童色情内容，遭到英国、欧盟、印尼等多国强烈谴责，相关监管机构已相继启动调查或实施封禁。 据新华社报道，"格罗克"由xAI公司开发，并内置于马斯克旗下的社交媒体X平台，用户可直接调用。 近期，部分用户利用"格罗克"编辑图片和视频的功能，伪造涉真实人物的性暴露内容，并在X平台上传 播。受害者包括多名成年女性和未成年人。 xAI面临多国调查及封禁，为"AI色情裸奔"敲响警钟。 "无论是出于对弱势群体的保护，还是对社会秩序的维护对生成式AI施加防护栏(Guardrails)是不可逆转 的共识。"上海社会科学院信息研究所所长刘炜在接受21世纪经济报道记者采访时表示。 Grok成AI色情重灾区 xAI于2025年8月向付费用户推出AI图像生成功能Grok Imagine，支持用户通过文字指令或上传图片来生 成图像和视频。该工具还特别设置了"火辣模式"（spicy），可生成成人内容。 X平台上大量用户利用相关功能对图像中人物执行"脱衣服"、 ...

综合美国有线电视新闻网、英国广播公司等外媒1月12日报道，近两日，印度尼西亚和马来西亚已先后 宣布禁止国内对马斯克旗下大模型Grok的访问，理由是大量用户通过该模型来伪造色情图像。 这两个国家也成为首批因"深度伪造"（deepfake）而对AI采取封禁措施的国家。 一位名为基拉娜·阿尤宁蒂亚斯的印尼残障人士向BBC表示，有陌生人利用Grok篡改了她坐在轮椅上的 照片，生成了她身穿比基尼的图像。尽管她尝试调整隐私设置并向平台投诉，但收效甚微。 此前，马斯克和xAI曾表示，他们正在通过永久封禁违规账户以及"与当地政府和执法部门合作"来解决 这一问题。然而，X平台仍然充斥着此类图像。有消息人士向CNN透露称，马斯克在xAI内部一直抵制 为Grok设置审查和安全防护机制。 目前，X平台及马斯克方面尚未就印尼和马来西亚的封禁做出正式回应。 除前述两个国家之外，利用Grok生成裸露图片的行为也遭到了英国首相斯塔默的谴责。斯塔默曾批评 这种行为"可耻"和"令人作呕"。 英国科技大臣利兹·肯德尔也呼吁采取迅速行动，打击深度伪造图像。她表示，英国的《在线安全法 案》"包含如果服务商拒绝遵守英国法律，可以封锁其在英国被访问的权力 ...

Core Viewpoint - The article discusses a recent incident involving a purported whistleblower from a food delivery platform, which turned out to be an AI-generated hoax, highlighting the challenges of verifying information in the age of AI [4][6][23]. Group 1: Incident Overview - A user claiming to be a software engineer from a food delivery platform alleged that the company manipulates algorithms to harm consumers and delivery workers [5][8]. - The allegations included tactics such as delaying regular orders to make paid priority orders appear faster and charging a "regulatory response fee" to lobby against driver unions [8][10]. - The whistleblower claimed the platform uses a "Desperation Score" to categorize drivers based on their willingness to accept low-paying orders, which affects their access to higher-paying jobs [8][10]. Group 2: Investigation and Verification Challenges - A journalist contacted the whistleblower for more information, but inconsistencies in the whistleblower's communication raised suspicions about the authenticity of the claims [14][19]. - The whistleblower provided a document claiming to be from Uber's market dynamics team, which contained detailed descriptions of the alleged practices, but also included irrelevant information about regulatory evasion [16][18]. - AI detection tools later confirmed that the employee ID provided by the whistleblower was likely generated or edited by AI, raising further doubts about the legitimacy of the claims [20][24]. Group 3: Broader Implications of AI in Information Verification - The article emphasizes that the rapid advancement of AI tools has made it easier for fraudsters to create convincing false narratives, increasing the difficulty for journalists to verify information [23][25]. - The phenomenon of deepfakes and AI-generated content is leading to a growing distrust in information, as the public may begin to view all information as potentially deceptive [26][28]. - The article concludes that the evolution of deepfake technology is contributing to a future characterized by uncertainty and skepticism towards factual information [28].

新华社伦敦1月9日电（记者郭爽）英国政府9日表示，美国企业家马斯克旗下人工智能企业xAI在被指 责其聊天机器人生成色情内容后采取的应对方案"不可接受"，并警告称，若拒不遵守英国法律，其服务 将在英国被屏蔽。 英国媒体9日援引首相府发言人的话说，xAI最新服务变更只是"将允许创建非法图像的人工智能功能变 成一项高级服务"，对受害者来说是"侮辱性的"，根本"不是解决方案"。英国首相斯塔默此前称此事"令 人不齿"且"令人作呕"。他要求X平台"控制住局面"。（完） "格罗克"由xAI公司开发，并内置于马斯克旗下的社交媒体X平台，用户可直接调用。近期，部分用户 利用"格罗克"编辑图片和视频的功能，伪造涉真实人物的性暴露内容，并在X平台上传播。受害者包括 多名成年女性和未成年人。在受到广泛谴责后，该公司日前将"格罗克"的图像生成和编辑功能更改为仅 对付费用户开放。 肯德尔提醒xAI遵守英国《在线安全法》，否则英国通信管理局有权屏蔽其在英国境内的服务。同时， 肯德尔呼吁英国通信管理局迅速采取行动，希望该监管机构"在几天内而不是几周内"发布相关处理行动 的更新信息。 英国科学、创新和技术大臣莉兹·肯德尔当天发表声明说，xAI ...

美国三位民主党参议员呼吁苹果公司和谷歌公司将X与Grok应用从其应用商店下架，至少在其所有者马 斯克禁止这两款应用允许用户创建和分享未经同意的、涉及儿童性虐待的露骨图像及描述之前，应维持 下架状态。 周五，俄勒冈州参议员罗恩·怀登、马萨诸塞州参议员埃德·马基以及新墨西哥州参议员本·雷·卢汉在致苹 果首席执行官蒂姆·库克和谷歌首席执行官桑达尔·皮查伊的公开信中表示，这两家科技巨头应"立即将X 和Grok应用从其应用商店中移除，直至该公司首席执行官马斯克解决这些令人不安且可能涉嫌违法的 行为"。 他们在信中写道："对X的恶劣行为视而不见，将是对你们平台审核机制的嘲讽。"信中还指出，若不采 取行动，将"削弱你们在公开场合及法庭上的主张——即应用商店提供的用户体验比让用户直接在手机 上下载应用更安全"。 Grok与X应用近期允许用户轻松生成并广泛分享"深度伪造"的露骨性化内容，其中涉及的人物并未同意 其肖像被用于此类用途。此外，Grok还被用于生成基于种族或民族歧视他人的图像。 近期发生的一起案例中，一名大屠杀幸存者的后裔被Grok进行了数字脱衣——有用户向这款人工智能 工具发出指令，生成了她身着比基尼站在奥斯威辛集 ...

在短视频社交平台的隐秘角落，一场基于虚拟合成技术的犯罪正悄然蔓延。记者调查发现，通过AI换 脸、深度伪造等虚拟合成技术，大量违背伦理道德的色情视频被"炮制"而出。受害者面容被恶意嫁接到 各类低俗影片中，甚至滋生出黑灰产。 转自：北京日报客户端 经参调查丨色情视频被恶意"炮制" 几元就能买到预训练模型 警惕AI换脸技术滥用滋生黑灰产 业内人士指出，这些以假乱真的换脸视频不仅突破了法律与道德的底线，更对个人安全和社会公序良俗 构成严重威胁，呼吁加强治理。 小雨是一名娱乐主播，直播内容主要是和粉丝聊天，不涉及任何擦边内容。但不法分子却将小雨的脸换 到色情影片中传播，让她无端卷入不良舆论风波。 "视频是不能P的""居然背着我们偷偷拍片"……看到直播间公屏上类似弹幕如爆炸般袭来，小雨自此不 敢再参加任何线上或线下社交活动。 后来，小雨在短视频平台又看到，有人毫不避讳地宣扬有关她的色情影片。顺着对方给的联系方式，小 雨进入了所谓的"工程设计交流群"，发现群里全是各种各样的网址和行业黑话。在这个群里，不法分子 将许多女性的脸换到色情电影中非法牟利。最终，小雨报警，五名嫌疑人被抓，相关账号和群聊也被永 久封禁。 小雨的遭遇， ...

（来源：经济参考报） 在短视频社交平台的隐秘角落，一场基于虚拟合成技术的犯罪正悄然蔓延。记者调查发现，通过AI换 脸、深度伪造等虚拟合成技术，大量违背伦理道德的色情视频被"炮制"而出。受害者面容被恶意嫁接到 各类低俗影片中，甚至滋生出黑灰产。 业内人士指出，这些以假乱真的换脸视频不仅突破了法律与道德的底线，更对个人安全和社会公序良俗 构成严重威胁，呼吁加强治理。 女性面容被恶意嫁接 深度伪造的"作案工具"究竟来自哪里？记者采访了解到，最多只需要四样东西：AI换脸软件、预训练模 型、被换脸的视频、受害人照片。 小雨是一名娱乐主播，直播内容主要是和粉丝聊天，不涉及任何擦边内容。但不法分子却将小雨的脸换 到色情影片中传播，让她无端卷入不良舆论风波。 "视频是不能P的""居然背着我们偷偷拍片"……看到直播间公屏上类似弹幕如爆炸般袭来，小雨自此不 敢再参加任何线上或线下社交活动。 后来，小雨在短视频平台又看到，有人毫不避讳地宣扬有关她的色情影片。顺着对方给的联系方式，小 雨进入了所谓的"工程设计交流群"，发现群里全是各种各样的网址和行业黑话。在这个群里，不法分子 将许多女性的脸换到色情电影中非法牟利。最终，小雨报警，五 ...

"我的心一下子沉了下去，"麦迪说，"我感到绝望、无助，满心都是厌恶。" 麦迪表示，她和朋友曾通过 X 平台的内容审核系统举报这些图片，但始终未收到任何回复。她还举报了其中一名用户发布的其他帖子，而根据举报反馈截 图显示，X 平台称"经核查，你举报的内容未违反 X 平台相关规定"。截至本文刊发时，这些违规图片仍未被下架。 遭遇深度伪造侵害的受害者们纷纷在相关帖子的评论区与 Grok 对质。Grok 虽时常道歉并承诺会删除图片，但在多数情况下，这些图像依然存在，且 Grok 还在不断生成新的伪造内容。吴的研究数据显示，Grok 生成的图像中，高达 85% 都带有性化性质。 IT之家 1 月 7 日消息，据彭博社报道，第三方分析显示，埃隆・马斯克旗下平台 X 已成为传播 AI 生成的非自愿脱衣图像的主要网站，本周早些时候，该平 台每小时就会出现数千张此类图片。 自去年 12 月下旬以来，越来越多的 X 平台用户利用该平台内置的人工智能聊天机器人 Grok，对他人发布的自拍照进行篡改。社交媒体与深度伪造技术研 究员吉纳维芙・吴指出，在对 Grok 官方账号发布到 X 的图片进行的 24 小时监测中发现，该聊天机器人平 ...

IT之家 1 月 6 日消息，因人工智能聊天机器人 Grok 在社交平台 X 上生成包含未成年人在内的性化图像，欧盟正"极为严肃地"审视埃隆・马斯克旗下的这款 产品。 欧盟委员会发言人托马斯・雷尼耶在当地时间周一的新闻发布会上表示："我们已注意到，X 平台或其旗下 Grok 推出的'火辣模式'会生成露骨涉性内容，部 分内容还包含儿童形象相关画面。"他所指的"火辣模式"是 Grok 于去年推出的功能，可生成带有性暗示的内容。"这根本算不上什么'火辣'，而是违法行 为。" xAI 显然未能实施有效的防护措施，这招致了全球监管机构的谴责。 英国媒体监管机构英国通讯管理局（Ofcom）于当地时间周一表示，已知悉外界对 Grok 功能存在的"重大担忧"，并已"紧急联络 X 平台和 xAI 公司，要求其 说明为履行保护英国用户的法律义务所采取的措施"。 法国政府于当地时间周五指控，Grok 在未经当事人同意的情况下，于 X 平台生成"明显违法"的涉性内容，并指出此事可能违反欧盟《数字服务法案》。该 法案要求大型平台采取措施，降低非法内容传播的风险。 印度电子和信息技术部已责令对 Grok 的安全功能展开全面审查；马来西亚 ...

近日，美国一位核武器安全方面的专家在美国媒体上撰文呼吁说，虽然世界上的核武器大国都同意不能 将发射核武器的指令交给人工智能，但还有一个与核武器密切相关的关键环节，也不能交到人工智能手 上，那就是判断一个国家是否遭到核武器袭击的预警系统。 这位专家名叫艾琳·D.邓巴克尔（Erin D. Dumbacher），是美国斯坦顿核安全项目的高级研究员，现就 职于美国对外关系委员会（CFR）。 在12月29日发表的一篇文章中，邓巴克尔先是以一个发生在苏联的事件为例，引出核武器预警系统的重 要性与潜在危险性。根据她的介绍，在美苏冷战时期，1983年的一天，苏联的核武器预警系统突然误 报，显示美国对苏联发动了核袭击。多亏现场的苏联军官斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）冷 静判断，识别出了报警系统的误报，才避免了一场可能导致世界毁灭的核战争。 邓巴克尔指出，如今随着人工智能技术的大发展，包括其在军事上的应用，这种并不成熟且存在滥用风 险的技术，正在威胁到核安全的稳定。 末日。" 耿直哥 邓巴克尔进一步阐述说，目前人工智能技术使得对信息、图片和视频的深度伪造变得越发容易，且更具 有迷惑性。在眼下的俄乌冲突 ...