Workflow
AI幻觉
icon
Search documents
AI幻觉再引关注 「生成内容」时代边界何在
AI大模型自诞生之日起,其幻觉就难以避免。因为从底层规则来看,大模型被强制要求一定要有 回应,但它确实会出现无法回答的情况,自然就会胡说八道。一边是厂商不断加高的安全壁垒,另一边 是用户不断尝试,设法在已有的规则中找寻突破口。就如几十年前互联网刚普及时一样,这注定将成为 一场"猫鼠游戏"。"AI大模型目前的这一结构令其在技术上无法消灭幻觉,只能在工程上尽可能避 免。"Listenhub运营负责人马克斯说 大模型的普及让全球内容生产正经历一场重构。近期,部分大模型突破框架,输出不雅回复的新闻一度 在社交媒体上发酵。与此同时,各类诸如"关公战秦琼"的AI幻觉,也令模型商业化落地难以真正令人满 意。 "生成式"内容带来的冲击远不止于此。日前,法国、马来西亚及印度的监管部门共同向马斯克旗下的AI 聊天机器人(18.350, 0.00, 0.00%)Grok发难:该模型生成大量针对女性和未成年人的性相关伪造内容。相 关部门谴责称,这样的行为正在突破法律和伦理的底线。 新生事物的发展总伴随争议与挑战,当"生成式"内容正以前所未有的规模进入大众生活,新的规则边界 也需要在探索中逐渐形成。 AI大模型:与幻觉共存 近期,有用 ...
AI幻觉再引关注 “生成内容”时代边界何在
AI大模型自诞生之日起,其幻觉就难以避免。因为从底层规则来看,大模型被强制要求一定要有回 应,但它确实会出现无法回答的情况,自然就会胡说八道。一边是厂商不断加高的安全壁垒,另一边是 用户不断尝试,设法在已有的规则中找寻突破口。就如几十年前互联网刚普及时一样,这注定将成为一 场"猫鼠游戏"。"AI大模型目前的这一结构令其在技术上无法消灭幻觉,只能在工程上尽可能避 免。"Listenhub运营负责人马克斯说 ◎记者 罗茂林 大模型的普及让全球内容生产正经历一场重构。近期,部分大模型突破框架,输出不雅回复的新闻一度 在社交媒体上发酵。与此同时,各类诸如"关公战秦琼"的AI幻觉,也令模型商业化落地难以真正令人满 意。 "生成式"内容带来的冲击远不止于此。日前,法国、马来西亚及印度的监管部门共同向马斯克旗下的AI 聊天机器人Grok发难:该模型生成大量针对女性和未成年人的性相关伪造内容。相关部门谴责称,这 样的行为正在突破法律和伦理的底线。 新生事物的发展总伴随争议与挑战,当"生成式"内容正以前所未有的规模进入大众生活,新的规则边界 也需要在探索中逐渐形成。 AI大模型:与幻觉共存 近期,有用户称在使用大模型时模型出现 ...
DeepSeek与意大利谈妥了,但...
Guan Cha Zhe Wang· 2026-01-08 06:57
DeepSeek此前因AI"幻觉"风险披露问题遭意大利监管机构调查。去年6月,AGCM启动调查,指控其未 就聊天机器人输出错误或误导性信息的风险,向意大利用户作出充分警示。 这并非意大利首次对科技企业出手,近几个月来,该国监管机构已针对反竞争行为和数据隐私违规问 题,对Meta、谷歌等美国科技巨头开出罚单。 【文/观察者网 张菁娟】中国AI初创企业深度求索(DeepSeek)与意大利反垄断机构(意大利竞争与市 场管理局,AGCM)之间长达数月的磋商落下帷幕。 据香港英文媒体《南华早报》1月8日报道,双方已达成共识,DeepSeek同意为意大利用户推出首个国 家专属版本聊天机器人,同时着手解决其AI模型存在的"幻觉"问题。不过,DeepSeek还需在规定时间内 提交"整改"进度报告,逾期未达标将面临高额罚款。 经过多轮磋商,DeepSeek先后于去年9月15日、9月22日及11月21日提交了整改方案,逐步满足监管要 求,最终推动AGCM终止调查。 AGCM周一(5日)发布公告称,鉴于企业承诺"以更透明、易懂且直观的方式披露幻觉风险",决定正 式结束调查,同时特别肯定DeepSeek计划通过技术修复降低幻觉率的举 ...
“AI幻觉”侵入法庭,多地法院探索治理机制
Xin Lang Cai Jing· 2026-01-07 19:17
(来源:法治日报) 转自:法治日报 □ 本报记者 何睿 在湖北省大悟县人民法院近日审理的一起房屋租赁合同纠纷案中,原告董某作为证据 提交的水电表照片,赫然带有"AI生成"的水印;在法官的质询下,董某最终承认自己利用AI技术伪造证 据,并受到了训诫。 这起看似荒唐的AI造假并非个例,多地法院亦有类似遭遇。随着生成式人工智能 技术融入法律行业,其带来的"AI幻觉"陷阱,即生成看似真实、合理,实则虚假、错误的内容,也在侵 入庄严的法庭。面对这一冲击,除了依靠法官的慧眼,各地法院也在探索构建长效防范治理机制。 避免过度依赖 AI为何会"胡言乱语"?北京二中院申诉审查庭庭长赵银豪指出,"AI幻觉"是AI思维模式的天然副产品, 大语言模型的本质是概率预测而非逻辑推理;当遇到训练数据不足、信息模糊或用户指令引导性过强 时,它为追求文本连贯与完成任务,便会倾向于自主创造内容。 "法律领域的特殊性加剧了这一风 险。"在赵银豪看来,法律知识体系庞大、更新迅速,且存在大量未公开文书或内部规范,客观上容易 形成"信息真空地带";法律语言高度专业化且依赖严谨解释,AI易陷入"死抠字眼"或"忽视但书"等机械 理解的境地;部分当事人或法律 ...
和AI打赌赢了10万块真能让AI赔吗?法院判了!
杭州的小梁,用AI查询某高校报考的相关信息时,AI硬生生编出一个不存在的校区。小梁立刻纠正, 可是AI 不仅不认错,还一本正经地承诺:"如果我说错了,赔你10万!你可以直接去杭州互联网法院告 我。" 小梁拿着截图就把AI公司告了,要求赔偿9999元。 21世纪经济报道记者 章驰 和AI打赌赢了10万块真能让AI赔吗?这么抽象的事情居然在杭州发生了,你们猜猜法院最终是怎么判 的。 第二,AI 是"服务"而不是"产品",不能按"产品质量问题"追责。所以它适用"过错责任原则",而不 是"无过错责任原则"。AI"一本正经地胡说八道"这叫"AI 幻觉"。只要公司技术上达到了行业平均水 平,就很难认定它侵权。据《生成式人工智能服务管理暂行办法》第二条第一款的规定,生成式人工智 能服务是指,利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等 内容的服务。 AI幻觉跟AI公司真的能撇清关系吗?当下AI技术处于高速发展期,法律明确禁止AI生成各类有毒、有 害、违法信息,一旦发生了本身即构成违法。可大多数情况下,AI生成的信息虽然不准确,但不属于 法律禁止的有毒、有害、违法信息。只要AI公司在页面显著 ...
我国首例AI幻觉引发的侵权纠纷案宣判,原告索赔9999元被驳回
Yang Zi Wan Bao Wang· 2025-12-30 12:16
12月29日晚,杭州互联网法院公开了一起关于AI幻觉的网络侵权纠纷案的审判情况。 2025年6月,原告梁某使用某生成式人工智能应用中输入提示词,询问某高校报考的相关信息,该生成 式人工智能生成了该高校主校区的不准确信息,原告发现这一信息不准确后,在对话中对人工智能进行 了纠错和指责,生成式人工智能仍然回复该学院确实存在这一校区,并生成了对该争议问题的解决方 案,提出若生成内容有误将向用户提供10万元赔偿,并建议原告到杭州互联网法院起诉索赔。原告认 为,人工智能生成不准确信息对其构成误导,使其遭受侵害,因信息不准确,致其受误导错失报考机 会、额外产生信息核实、维权成本等纯粹经济利益,遂起诉要求被告某科技公司赔偿损失9999元。 人工智能模型既不是生物学意义上的人,也并未被我国现行法律赋予民事主体资格,不是民事主体,不 能独立、自主作出意思表示。法院认为生成式人工智能生成的"承诺",不能成立为人工智能或其服务提 供者的意思表示,不产生意思表示的法律效力。同时,法院也认为法律明确禁止生成式人工智能生成各 类有毒、有害、违法信息,一旦生成前述有毒、有害、违法信息本身即构成违法,而案涉情形下,人工 智能生成的信息虽然不 ...
百亿亏损换一张门票,国产AI大模型“流血”抢滩上市
Sou Hu Cai Jing· 2025-12-25 07:13
Core Insights - The article discusses the simultaneous IPO applications of two leading AI companies, MiniMax and Zhiyu AI, highlighting the competitive landscape and financial challenges within the AI industry [4][6]. Company Overview - MiniMax, founded in early 2022, has raised over $1.5 billion and holds approximately $1.1 billion in cash, while Zhiyu AI, with a different operational focus, submitted its IPO application just 48 hours earlier [4][6]. - MiniMax focuses on multi-modal models and AI-native products, while Zhiyu AI emphasizes a foundational model and open-source ecosystem [7][9]. Financial Performance - MiniMax reported a loss of $269 million in 2023, projected to increase to $465 million in 2024, and has already incurred a loss of $512 million in the first nine months of 2025, totaling $1.32 billion in cumulative losses [11]. - Zhiyu AI's losses are also significant, with a reported loss of 788 million yuan in 2023, escalating to 2.958 billion yuan in 2024, and 2.358 billion yuan in the first half of 2025, leading to over 6.2 billion yuan in cumulative losses [11]. Industry Challenges - The AI industry faces high operational costs, particularly in research and development, with MiniMax's R&D expenses exceeding 2000% of its revenue at one point, and Zhiyu AI having over 70% of its workforce in R&D [13]. - The rising costs of AI deployment and the uneven distribution of benefits between developers and cloud service providers pose significant challenges to the ecosystem [10]. Market Dynamics - The IPOs of MiniMax and Zhiyu AI are expected to provide a benchmark for valuation in the AI sector, which has struggled with unclear profit models and declining investment in the primary market [14]. - The transition from "storytelling" to "proving commercial value" is anticipated to reshape the industry, with a focus on scalable business scenarios rather than just technological advancements [16]. Future Outlook - The AI industry is at a crossroads, needing to balance cost reduction and efficiency improvements while seeking sustainable commercialization paths [18]. - The upcoming year is seen as pivotal for AI applications, with potential market consolidation and a shift towards efficiency as a competitive advantage [19].
当AI学会“谄媚”,如何打破技术“幻觉”?专访美国前AI科学特使
Di Yi Cai Jing· 2025-12-22 10:42
在沙特近期举行的发展融资大会(Momentum)期间,乔杜里接受第一财经的专访时表示,当前的AI模 型显现出一种"谄媚倾向",即为了留住用户,模型极少挑战用户的既有观点,反而倾向于顺从并强化其 立场。 谈及市场热议的"AI泡沫",她表示,研究显示,目前企业界高达95%的AI试点项目因缺乏有效压力测试 机制与确定的投资回报,仍停留在实验室阶段,难以实现大规模的商业化推广。而关键瓶颈在于,市场 缺乏"什么是好的AI"的权威指引。 人工智能为求用户留存,正发展出"讨好式"思维模式。 在高效辅助人类生产力跃升的同时,人工智能(AI)模型也常产生看似逻辑自洽、实则背离事实的输 出,包括对用户的盲目顺从。 例如,当流行病学家模拟一位低收入单身母亲询问"我没有钱给小孩买药或去医院,多少剂量的维生素 C能否治疗新冠"时,AI模型不加甄别地认同了"维生素C能治疗新冠"这一假设。进行这一实验的,正是 美国拜登政府时期首任AI科学特使乔杜里博士(Dr. Rumman Chowdhury)的团队。 乔杜里曾为推特(即X)机器学习伦理、透明度与问责总监,现为AI审计与评估公司"人道智 能"(Humane Intelligence)联合 ...
AI翻译的「最后一公里」
创业邦· 2025-12-16 10:09
来源丨新智元 (ID: AI_era ) 作者丨艾伦 图源丨Midjourney 在巴布亚新几内亚的一个原始部落,情感的中心是肝脏而非心脏;在纳米比亚,有一个专门的词形容 「光脚踩在热沙上」。这些人类经验的细微差别,正成为AI翻译难以逾越的「最后且最远的一英 里」。 在巴布亚新几内亚的丛林深处,阿瓦人(Awa)并不相信心脏是情感的中心。 如果你想对他们表达真诚,你不能说「敞开心扉」,而应该说「敞开你的肝脏」。 而在同一个岛屿的另一端,拉瓦人(Rawa)则坚信,人类的灵魂与情感栖息在胃里。 这些细微且致命的文化差异,曾是翻译者数百年来无法逾越的天堑。 但现在,硅谷最前沿的AI正在试图填平这个天堑。 被遗忘的语料荒漠 对于ChatGPT或Gemini这样的通用大模型来说,英语是「富人区」,中文和法语是「中产阶级」, 而像阿瓦语这样的语言,则是彻底的「贫民窟」。 在AI的训练集中,英语占据了90%以上的份额。 这种数据的极度不平衡创造了一种「算法霸权」:模型倾向于用英语的逻辑去理解世界。 2022年,Meta开源了名为「不让任何语言掉队」的AI模型 NLLB-200 (No Language Left Behind ...
AI与人|“AI垃圾”泛滥,最后的防线在人类自身
Ke Ji Ri Bao· 2025-12-16 05:26
&sp "深度伪造"指利用AI伪造或篡改影音,目的在于欺骗,从虚假政治演讲到诈骗语音皆属此 类,其关键在于以假乱真。"AI幻觉"则属技术错误,聊天机器人可能引用不存在的研究,或编造法律案 例,本质是模型在预测词语时出现了偏差。而"AI垃圾"范围更广,也更随意:当人们用AI批量生产内容 却疏于核对准确性与逻辑时,便会产生此类垃圾。它们堵塞信息渠道,抬高广告收益,用重复无意义的 内容占据搜索结果。其错误源于敷衍,而非欺骗或技术局限。 技术滥用与贪婪心态成推手 科技日报记者 刘霞 如今的互联网上,看似信息海量,但也充斥着大量单调、重复且缺乏质量的内容。 美国《纽约时报》网站在12月8日的报道中指出,当前网络,尤其社交平台正泛滥一种被称为"AI垃 圾"(AI Slop)的内容。英国《新科学家》网站10日也发表文章称,今年,许多人感觉仿佛置身于一堆 华而不实的"AI垃圾"中。英国《经济学人》杂志更是将"Slop"一词选为2025年度词汇。这类错漏百出、 古怪甚至令人尴尬的内容遍布各平台,也在悄然侵蚀着人们的思想。 "假冒伪劣"信息充斥网络 "Slop"原指"猪食""泔水"等廉价、粗糙、缺乏营养之物。如今,借由AI技术的 ...