Workflow
AI幻觉
icon
Search documents
“AI垃圾”泛滥,最后的防线在人类自身
Ke Ji Ri Bao· 2025-12-16 02:20
◎科技日报记者 刘 霞 "Slop"原指"猪食""泔水"等廉价、粗糙、缺乏营养之物。如今,借由AI技术的浪潮,一些如同"Slop"的 垃圾内容正在互联网上肆意蔓延。 "AI垃圾"特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频,常见于社交媒体和自动化 内容农场。 美国科技网站CNET在10月28日的报道中提到,如今社交平台上"AI垃圾"五花八门:OpenAI的Sora可让 人几秒内生成滑稽荒诞的视频;LinkedIn上满是由AI包装的"专家箴言",例如"有时领导力就是保持沉 默的能力";谷歌搜索结果也宛如AI杂货铺,竟会出现"姜黄能治愈心碎"这类无稽之谈。 "AI垃圾"与"深度伪造"或"AI幻觉"虽有重叠,却并不相同,其区别在于意图与质量。 "深度伪造"指利用AI伪造或篡改影音,目的在于欺骗,从虚假政治演讲到诈骗语音皆属此类,其关键在 于以假乱真。"AI幻觉"则属技术错误,聊天机器人可能引用不存在的研究,或编造法律案例,本质是模 型在预测词语时出现了偏差。而"AI垃圾"范围更广,也更随意:当人们用AI批量生产内容却疏于核对准 确性与逻辑时,便会产生此类垃圾。它们堵塞信息渠道,抬高广告收益,用重复无 ...
“AI垃圾”泛滥 最后的防线在人类自身
Ke Ji Ri Bao· 2025-12-16 00:23
"假冒伪劣"信息充斥网络 如今的互联网上,看似信息海量,但也充斥着大量单调、重复且缺乏质量的内容。 美国《纽约时报》网站在12月8日的报道中指出,当前网络,尤其社交平台正泛滥一种被称为"AI垃 圾"(AI Slop)的内容。英国《新科学家》网站10日也发表文章称,今年,许多人感觉仿佛置身于一堆 华而不实的"AI垃圾"中。英国《经济学人》杂志更是将"Slop"一词选为2025年度词汇。这类错漏百出、 古怪甚至令人尴尬的内容遍布各平台,也在悄然侵蚀着人们的思想。 "Slop"原指"猪食""泔水"等廉价、粗糙、缺乏营养之物。如今,借由AI技术的浪潮,一些如同"Slop"的 垃圾内容正在互联网上肆意蔓延。 "AI垃圾"特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频,常见于社交媒体和自动化 内容农场。 美国科技网站CNET在10月28日的报道中提到,如今社交平台上"AI垃圾"五花八门:OpenAI的Sora可让 人几秒内生成滑稽荒诞的视频;LinkedIn上满是由AI包装的"专家箴言",例如"有时领导力就是保持沉 默的能力";谷歌搜索结果也宛如AI杂货铺,竟会出现"姜黄能治愈心碎"这类无稽之谈。 "AI垃 ...
AI翻译的“最后一公里”
3 6 Ke· 2025-12-15 12:55
在巴布亚新几内亚的一个原始部落,情感的中心是肝脏而非心脏;在纳米比亚,有一个专门的词形容「光脚踩 在热沙上」。这些人类经验的细微差别,正成为AI翻译难以逾越的「最后且最远的一英里」。 在巴布亚新几内亚的丛林深处,阿瓦人(Awa)并不相信心脏是情感的中心。 如果你想对他们表达真诚,你不能说「敞开心扉」,而应该说「敞开你的肝脏」。 而在同一个岛屿的另一端,拉瓦人(Rawa)则坚信,人类的灵魂与情感栖息在胃里。 这些细微且致命的文化差异,曾是翻译者数百年来无法逾越的天堑。 但现在,硅谷最前沿的AI正在试图填平这个天堑。 被遗忘的语料荒漠 对于ChatGPT或Gemini这样的通用大模型来说,英语是「富人区」,中文和法语是「中产阶级」,而像阿瓦语 这样的语言,则是彻底的「贫民窟」。 在AI的训练集中,英语占据了90%以上的份额。 这种数据的极度不平衡创造了一种「算法霸权」:模型倾向于用英语的逻辑去理解世界。 当你输入一个复杂的中文成语,AI往往会先将其「脑补」成英文语境下的对应概念,再翻译回来,导致原意的 流失。 而在那些仅有数千人使用的「低资源语言」中,情况更为糟糕。 互联网上几乎不存在这些语言的文本数据,AI无书 ...
火上浇油,Grok在悉尼光明节枪击案上大规模造谣
3 6 Ke· 2025-12-15 10:45
马斯克的Grok这两天再次大规模「翻车」,在邦迪海滩枪击案等重大事件中胡言乱语,将救人英雄误认为修树工人和以色列人质,甚 至混淆枪击与气旋。 这不仅是技术故障,更暴露了生成式AI在处理实时信息时致命的 「幻觉」 缺陷。当算法开始编造现实,我们该如何守住真相的底线? 马斯克的Grok又双叒叕失控了。 这次它把矛头对准了邦迪海滩(Bondi Beach)的枪击惨案。 这两天发生在悉尼的一场光明节聚会期间的悲剧中,至少有12人不幸遇难。 现场视频显示,43岁的路人艾哈迈德·阿尔·艾哈迈德(Ahmed al Ahmed)挺身而出,解除了其中一名袭击者的武装。 10 1997 这一英勇之举在社交媒体上广受赞誉,但也有杂音出现:一些人借机散布仇视伊斯兰教的言论,试图通过否认这位路人身份报道的真实 性来利用这场悲剧。 局面本就混乱,Grok却还在火上浇油。 截至周日早上,该机器人似乎出现了严重的故障,不仅回复无关内容,有时甚至胡言乱语。 当有用户询问艾哈迈德制服枪手的视频的背景故事时,Grok竟称这只是一段「一名男子在停车场爬棕榈树修剪枝叶,导致树枝掉落砸坏 停放车辆」的陈年旧视频,并表示查无实据,质疑其真实性。 荒谬不止 ...
如果你非得用DeepSeek看病,建议这么看(附详细提问模版)
3 6 Ke· 2025-12-03 03:23
你用DeepSeek看过病了吗? 打开它,说出自己的不舒服或拍照上传检查结果,几秒后就能得到诊断和治疗建议。继续问这个病是怎么回事或药怎么用,它还能给出更详细易懂的解 释,有问必答。 不花钱、不用抢号,还比医生耐心得多,是不是以后看病找DeepSeek就行?如果问DeepSeek本人,它会回答: DeepSeek对自己可不可以看病的回答 | DeepSeek截图 实际让DeepSeek看一次病,你会在回复的末尾见到一个提示框: 3. 开出另外几项检查,分辨表现相近的疾病、确定诊断; 问其他问题的时候,一般不会出现这个提示框 | DeepSeek截图 "不能""不应""仅供参考",这是DeepSeek太过谦虚,还是看病这件事有什么特殊的地方? 下面,我们来看看到底能不能用DeepSeek看病,和怎么用它把病看得更好(附详细提问模板)。 能不能用AI看病?当专家不能,当助手很能 有一种用DeepSeek等人工智能助手(AI)看病的方法是,得到它的回复之后就给自己确诊,然后听从AI建议开始吃药,就像刚刚找医学专家看过病。 可是,医学专家看病时很少单凭几句描述或者一张检查单,就给出一个确定的诊断,接来下可能还会做这些 ...
“问道”大模型:当好伦理风险防控“专家”
Ke Ji Ri Bao· 2025-12-01 00:45
"问道"由王珏牵头设计,东南大学移动通信全国重点实验室、毫米波全国重点实验室、教育部移动信息 通信与安全前沿科学中心,以及江苏省道德发展智库等跨学科平台共同研发。 作为首个系统级伦理垂域大模型,"问道"构建了覆盖伦理治理全流程的功能矩阵。该模型可作为企业伦 理"审查官",自动审核商业决策、广告文案、算法模型是否存在伦理风险;也可成为AI研发的合规检测 工具,帮助研究人员在产品设计之初就注入伦理考量,从源头避免偏见和风险;还可作为学生的伦 理"导师",通过模拟真实的道德困境,培养学生的批判性思维和道德决策能力。 "一项政策的出台,将会影响哪些人,是否会造成对部分群体的不公?企业在进行商业决策、推广品牌 时会不会有伦理风险?AI伦理大模型可以为这些问题提供答案。"在日前举行的"全球首个系统级伦理垂 域大模型'问道'"新闻发布会上,东南大学AI伦理实验室主任、人文学院教授王珏说。 "问道"拥有伦理风险评估与审计、伦理困境模拟与决策推演、伦理对齐辅助设计、动态知识库与案例教 学、伦理学前沿探索与范式革新五大功能,目前免费向用户开放。"它致力于成为用户的伦理思考伙伴 与决策支持系统,旨在帮助科研机构、科技企业、伦理审查 ...
人工智能赋能制造业优化升级
Zheng Quan Ri Bao· 2025-11-26 16:28
面对人工智能在产业升级、产品开发、服务创新等方面的技术优势,为促进人工智能同实体经济的深度融合,11月26日, 由中国企业联合会、中国企业家协会主办的2025年全国智慧企业发展大会在江西省赣州市召开。 本报记者 曹琦 随着技术持续突破、应用场景拓宽以及产业融合加速,当前人工智能(AI)发展正进入2.0新阶段,即迈向思维与行动双 轮驱动的新阶段。 多位与会专家表示,未来,随着AI融入核心生产环节,将驱动制造业"智变",推动制造业模式从离散、被动向连续、主 动、全局优化升级。 高质量数据 解决"AI幻觉"问题 本次大会主题为"AI驱动创新 数智引领未来"。会上,中国企业联合会党委书记、常务副会长兼秘书长朱宏任在致辞时表 示,要扎实推进人工智能与实体经济深度融合,推动企业加快形成以数据驱动、场景引领、系统推进为特征的数智化发展新格 局。 人工智能 将驱动制造业"智变" 如今,AI正在深刻改变制造业的生产方式、商业模式和产业生态。 "当前AI应用落地呈现微笑曲线的特征,大模型应用落地节奏两端快、中间慢,即生产制造端慢,管理运营、营销服务端 快。"工业和信息化部电子科技委主任、研究员级高级工程师王江平向《证券日报》记者 ...
企业正在召回被AI顶替的员工,AI还没那么聪明
3 6 Ke· 2025-11-19 00:14
比如,亚马逊正计划实施该公司史上最大规模的裁员,将一次性裁撤超过3万名员工,原因则是他们开 始使用AI来完成原本由人类执行的任务。事实上,亚马逊的这一决策并非孤例,尝试用AI代替人类以 降本增效的情况在各国此起彼伏。 然而AI真的能代替人类吗?日前人力分析公司Visier发布了2025年的就业与招聘报告,对全球142家公 司、共240万员工的就业数据进行分析,结果发现被裁员工中约有5.3%后续会再次被原雇主聘用。事实 上,这一比例自2018年以来相对稳定,但近两年明显上升,且呈现出加速爬升的态势。 Visier将这种情况形容为"企业与AI之间的冷静期",反映出企业面对AI工具实际能力和局限性的现实。 尽管一些公司在引入AI后,确实能在部分流程提升效率,但真正的问题在于AI通常只能接管任务,而 不是接管岗位。并且搭建AI基础设施,包括硬件、数据系统,以及安全框架,都需要大量资金的投 入,而这些支出的实际费用往往会远超预算。 自打OpenAI的ChatGPT问世以来,关于AI冲击职场可能会导致大家失业的声音就不绝于耳。经过这几 年的迭代,如今AI在能力上也迎来跨越式发展,因此越来越多企业开始尝试将其引入工作流。 ...
“一本正经胡说八道”,AI幻觉如何化解
Di Yi Cai Jing· 2025-11-04 12:30
Core Viewpoint - The phenomenon of AI hallucination poses significant challenges in the development of generative AI, affecting not only information accuracy but also business trust, social responsibility, and legal regulations. Addressing this issue requires ongoing technical optimization, a robust legal framework, and enhanced user literacy [1] Group 1: Causes and Types of AI Hallucination - AI hallucination occurs when large language models generate seemingly coherent text that is factually incorrect or fabricated, primarily due to their design goal of producing "statistically reasonable" text rather than factual accuracy [2] - The training of generative AI models relies on vast amounts of unfiltered internet data, which includes both accurate information and significant amounts of erroneous or outdated content, leading to the reproduction of inherent flaws in the data [2][3] - The underlying Transformer architecture of generative AI models lacks metacognitive abilities, resulting in outputs that may appear logical but are fundamentally flawed due to the probabilistic nature of their operation [3] Group 2: Manifestations and Risks of AI Hallucination - AI hallucination can manifest in various forms, including fabricating facts, logical inconsistencies, and quoting false authorities, which can mislead users and create significant risks in professional contexts [4] - The impact of AI hallucination on consumer trust is profound, as consumers expect a higher accuracy from AI than from human errors, leading to potential personal and financial losses in sectors like finance and healthcare [6] - AI hallucination can severely damage corporate reputations and lead to substantial financial losses, as seen in the case of Google's Bard chatbot, which caused a market value loss of approximately $100 billion due to misinformation [7] Group 3: Legal and Regulatory Framework - China has implemented a series of regulations to govern generative AI services and mitigate AI hallucination risks, including requirements for algorithm registration and safety assessments [11][12] - International legal practices are increasingly holding AI service providers accountable for the dissemination of false information, as demonstrated by a recent ruling in Germany that emphasized the responsibility of AI service providers to review harmful content [12] Group 4: Mitigation Strategies - Mitigating the risks associated with AI hallucination requires a collaborative effort from model developers, regulatory bodies, and end-users, focusing on improving data quality and implementing safety measures in AI models [9][10] - Users are encouraged to adopt a critical approach when interacting with AI outputs, employing cross-validation techniques and adjusting the model's creative freedom based on the task type to ensure accuracy [10]
AI生成虚假案例混入司法审判太荒谬,AI好用也不能哪里都用
Yang Zi Wan Bao Wang· 2025-10-31 05:46
这两日,一起略显荒谬的AI幻觉事件在法律圈中引发讨论。据北京市高级人民法院发布的消息,近日 北京市通州区人民法院在审理一起由股权代持引发的商事纠纷案件中,原告代理人提交给法庭的书面材 料里竟然出现了AI生成的虚假案例。 断进步,在试图减少AI幻觉的同时,作为使用者也不能太放心这些灵活好用的AI工具,即便要用二次 核查也必不可少,总不能让工具代替了独立思考。 扬子晚报|紫牛新闻记者 沈昭 校对 潘政 根据北京市通州区人民法院对这起案件的介绍,原告代理人为了进一步佐证其观点,在向法庭提交的书 面意见中,援引了名为最高法院的某案例及上海一中院的(2022)沪01民终12345号案件。从代理意见 的描述来看,两案的事实细节、法律争议与裁判逻辑都与审理中的案件高度契合,完美佐证了原告代理 人的主张观点,初看之下极具参考价值。 出于职业敏感性,承办法官进行了检索核实,却发现这两个案号所对应的真实案件事实与代理人书面意 见中描述的情况完全不同。在承办法官的质询下,原告代理人承认自己是向某AI大模型软件提问,由 AI软件生成了参考案例,代理人没有进一步核实案例的真实性,直接复制粘贴后提交给法院。承办法 官在判决书中明确对原告 ...