Workflow
AI幻觉
icon
Search documents
开发者遭ChatGPT“赶鸭子上架”!AI编造假功能,结果吸引大量用户,不得不开发出来了
量子位· 2025-07-08 03:31
西风 发自 凹非寺 量子位 | 公众号 QbitAI 笑不活了,ChatGPT闯大祸! AI幻觉随意编造一个产品的新功能,误导用户大量涌入,最后 开发者不得不把这 个虚构的功能真 的做了出来 。 受害者是一个 乐谱扫描网站 ,最近莫名收到大量用户上传的ASCII吉他谱截图,这些截图还都是来自ChatGPT的。 网站开发者懵了: WTF?我们 压根不支持扫描ASCII吉他谱 啊??? 直到这位开发者自己亲自用ChatGPT倒腾了一番才发现,好你小汁,原来如此~ ChatGPT生成ASCII吉他谱之后,会自动推荐大伙儿到他们的网站收听或是进一步创作。 然鹅,该网站平时扫描的都是传统标准五线谱,根本不支持ASCII吉他谱这种小众格式…… 更更笑不活的是,大量用户尝试该功能,把开发者架在那儿了,不支持该功能难免会让满怀期待赶来用户感到失望,显得网站很差劲。 于是乎,这位开发者被迫,加急赶工把这个功能给造了出来。 被ChatGPT"赶鸭子上架"造新功能 这个能扫描乐谱的网站名叫 S oundsli ce ,其中的乐谱扫描仪功能能将图片照片中的 音乐数字化 ,这样你就能收听、编辑和练习。 这位网站开发者表示,他们一直在持 ...
DeepSeek又惹祸了?画面不敢想
Xin Lang Cai Jing· 2025-07-06 04:24
媒体大肆报道之后,发现这个道歉也是假的。 1245个字 阅读时长:3分钟 中产先生 | 洞见时代发现价值讲述生活 防不胜防。 最近,都在传DeepSeek给王一博道歉,因为它错误的把王一博联系到不久之前的李爱庆事件。 在AI造假和算法推荐的效率之下,媒体信息不断被污染,没有真实可言了。 我们都知道AI造假的原因有两个: 1、AI幻觉问题 它经常会主动编造一些事实来迎合提问者的偏好。 这一点,会被有心者故意利用,来编造各种情节离奇的谣言。 这些人胆子大到什么地步呢? 编造明星的离奇情节还不够,甚至编造涉政涉军的谣言。 今年以来流传比较广的AI谣言就有: 涉及腐败的:某官员把黄金浇铸成飞机螺旋桨叶片。 涉及芯片的:深圳华强北地下仓库直接以或换货。 涉及关税的:墨西哥边境无数架无人机低空走私。 总结起来就一句话: 要多离奇多离奇,要多狗血多狗血,现在大家不关心真假,只在乎情绪和流量。 营销号正是抓住了这个趋势。 2、给AI喂假料 这次王一博的事件,就是不怀好意者给AI喂假聊的结果。 现在给AI喂假料太容易,AI基本没有辨别的能力,只有梳理罗列的功能,到时候再因为幻觉问题严 重,就可能直接误导用户,甚至成为黑公关的手 ...
冲上热搜!“DeepSeek对王一博道歉”竟是AI编的?
第一财经· 2025-07-04 12:27
作者 | 第一财 经 刘晓洁 2025.07. 04 本文字数:1313,阅读时长大约3分钟 一条关于辟谣和道歉的新闻,最终却是AI幻觉带来的谣言,这是AI时代的荒诞现实。 7月3日,一则《演员王一博案,判了》的新闻发酵,文章内容提及,人工智能公司DeepSeek因内 容审核疏漏,就关联不实信息向演员王一博道歉,还援引了刑事判决书。随后,#DeepSeek向王一 博道歉#一度冲上热搜。 目前这一新闻已被删除,但仍然引发大量转载。 上述文章提到"人工智能公司DeepSeek发布正式道歉",并提及"声明"一词。但第一财经查阅了目 前DeepSeek所有官方渠道的账号,包括官网、公众号、知乎、小红书、海外的X等,都未发现有新 的动态。 第一财经也向公司进行了求证,但截至发稿,未收到任何回复。 仅从新闻事实来看,网络流传演员王一博的消息,已被经纪公司澄清,法院判定系谣言,而声称 DeepSeek为传谣道歉,则有诸多的不合理之处。此次假新闻的信息中没有任何一句明确指出 DeepSeek的道歉渠道,声明中所提及的法律判决书,在中国裁判文书网上检索显示无数据。 追溯"道歉"新闻源头,或许来自于一则社交媒体中的帖子,但看图片 ...
“DeepSeek对王一博道歉”竟是AI编的?大模型幻觉引发热搜假案
Di Yi Cai Jing· 2025-07-04 11:27
7月3日,一则《演员王一博案,判了》的新闻发酵,文章内容提及,人工智能公司DeepSeek因内容审核疏漏,就关联不实信息向演员王一博道歉,还援引 了刑事判决书。随后,#DeepSeek向王一博道歉#一度冲上热搜。 目前这一新闻已被删除,但仍然引发大量转载。 媒体作为信息"把关人"的严谨性与责任感,在AI时代更为重要。 一条关于辟谣和道歉的新闻,最终却是AI幻觉带来的谣言,这是AI时代的荒诞现实。 上述文章提到"人工智能公司DeepSeek发布正式道歉",并提及"声明"一词。但第一财经查阅了目前DeepSeek所有官方渠道的账号,包括官网、公众号、知 乎、小红书、海外的X等,都未发现有新的动态。 仅从新闻事实来看,网络流传演员王一博的消息,已被经纪公司澄清,法院判定系谣言,而声称DeepSeek为传谣道歉,则有诸多的不合理之处。此次假新 闻的信息中没有任何一句明确指出DeepSeek的道歉渠道,声明中所提及的法律判决书,在中国裁判文书网上检索显示无数据。 追溯"道歉"新闻源头,或许来自于一则社交媒体中的帖子,但看图片内容可知,道歉的主体是"AI聊天助手DeepSeek"。 | 昨天 博君一肖iPhone客户端 ...
给大热的智能体做体检:关键「安全」问题能达标吗?
21世纪经济报道· 2025-07-04 06:55
作 者丨 肖潇、王俊、章驰、陈勇杰 编 辑丨王俊 2025年,被称为"智能体元年"。这是AI发展路径上的一次范式突变:从"我说AI答"到"我说AI 做",从对话生成跃迁到自动执行,智能体正成为最重要的商业化锚点和下一代人机交互范 式。 但越接近落地,风险也越有实感。智能体的核心能力——自主性、行动力,也恰恰是风险滋 生的窗口。越能干的智能体,越可能越权、越界,甚至失控。 结合调查问卷和行业访谈,本次《智能体体检报告——安全全景扫描》 从最新发展状况、合 规认知度、合规实际案例三个角度 ,试图回答清楚一个关键问题:智能体狂奔之时,安全合 规是否就绪了? 容错性与自主性为核心考量指标 作为市场最火热的概念,今年资本市场及公司动态几乎都与智能体挂钩。但不少讨论中的智 能体定义混乱,以至于一千个人眼中有一千个智能体。 如果仅停留在单一角度分类智能体是非常片面的,为了更全景地认知理解智能体,我们广泛 地调研了从业者,认为可以从"容错性"、"自主性"两个维度划定坐标轴,建立智能体的价值生 态。 X轴是"容错性",我们认为这是智能体未来发展的核心竞争指标 。容错性低,通常意味着出 现错误后果严重,其使用场景需要更准确的信息 ...
智能体狂奔之时,安全是否就绪了?
2025年,被称为"智能体元年"。这是AI发展路径上的一次范式突变:从"我说AI答"到"我说AI做",从对 话生成跃迁到自动执行,智能体正成为最重要的商业化锚点和下一代人机交互范式。 但越接近落地,风险也越有实感。智能体的核心能力——自主性、行动力,也恰恰是风险滋生的窗口。 越能干的智能体,越可能越权、越界,甚至失控。 结合调查问卷和行业访谈,本次《智能体体检报告——安全全景扫描》从最新发展状况、合规认知度、 合规实际案例三个角度,试图回答清楚一个关键问题:智能体狂奔之时,安全合规是否就绪了? 容错性与自主性为核心考量指标 作为市场最火热的概念,今年资本市场及公司动态几乎都与智能体挂钩。但不少讨论中的智能体定义混 乱,以至于一千个人眼中有一千个智能体。 如果仅停留在单一角度分类智能体是非常片面的,为了更全景地认知理解智能体,我们广泛地调研了从 业者,认为可以从"容错性""自主性"两个维度划定坐标轴,建立智能体的价值生态。 X轴是"容错性",我们认为这是智能体未来发展的核心竞争指标。容错性低,通常意味着出现错误后果 严重,其使用场景需要更准确的信息捕捉、归纳、整合能力,更少的幻觉和错误决策,更稳定的执行任 务能 ...
AI入侵EDA,要警惕
半导体行业观察· 2025-07-03 01:13
公众号记得加星标⭐️,第一时间看推送不会错过。 几十年来,迭代循环一直是 EDA 流程中至关重要的环节。自从门电路延迟和线路延迟变得相当以 来,确定给定逻辑综合运行的结果是否能够产生可接受的时序就变得至关重要。多年来,这个问题变 得越来越严重,因为一个决策可能会影响许多其他决策。决策的后果对于流程中的单个工具来说可能 并不明显。串行运行工具会导致大问题,而对于逻辑综合而言,即使采用迭代,也几乎不可能实现时 序收敛,因为没有循环学习的概念。 通过将决策工具、估算器和检查器紧密集成到单个工具中,解决了这些多因素依赖关系的问题,从而 可以在决策的同时进行快速检查,以找出特定选择可能导致不良结果的可能性。我们看到越来越多的 领域需要这种功能,其中许多领域都具有交互式反馈回路,以便用户能够根据自身掌握的专业知识来 指导工具的操作。 人工智能的幻觉能力广为人知。许多幻觉在非关键场景下都很有趣,尤其是在生成图形时。我的爱好 之一是模拟1950年左右的英国铁路。不久前,我尝试用人工智能生成一些背景场景。人工智能根本无 法理解火车的概念,即火车有两个轮辋,在一对轨道内运行。有些生成的图像包含任意数量的轨道, 当包含道岔时,效果 ...
【高端访谈】“自动化生成授信尽调报告,人机协同重构银行智慧内核”——专访中国光大银行副行长杨兵兵
Xin Hua Cai Jing· 2025-07-02 08:38
新华财经北京7月2日电 当银行客户经理写一份企业授信尽调报告从耗时7天压缩至3分钟,当政策问答 平均响应时间缩短至20秒,银行与大模型的化学反应正悄然颠覆传统金融作业模式。近日,新华财经独 家对话中国光大银行副行长杨兵兵,深入探讨大模型在银行核心场景的深度实践,用好大模型的关键资 源以及与技术红利如影随形的AI幻觉应对之策等话题。 场景深耕:3分钟生成授信尽调报告,20秒实现精准问答 走进银行的业务一线,大模型技术已不再是遥不可及的概念,而是真切地扎根于多个核心场景,并结出 效率之果。 "大模型不是实验室玩具,而是解决业务痛点的工具。"杨兵兵告诉记者,该行已经推动大模型技术在客 户经理赋能、合规运营、远程坐席、助力分行智能化经营等场景的落地。 在银行客户经理撰写授信尽调报告这一场景中,效率提升尤为显著。 在传统流程下,银行客户经理撰写授信尽调报告需要经历与客户接洽、资料收集、现场尽调、风险评 估、授信方案设计并撰写报告,再提交审批。对于一些中大型企业来说,撰写一份百页授信尽调报告平 均需要7天左右,如今借助大模型技术,短短3分钟即可完成一份报告。 "这极大地节省了客户经理的精力,让他们能更专注于客户关系的深度 ...
智能体调查:七成担忧AI幻觉与数据泄露,过半不知数据权限
2025年,被称为"智能体元年"。这是AI发展路径上的一次范式突变:从"我说AI答"到"我说AI做",从对话生成跃迁到自动执 行,智能体正成为最重要的商业化锚点和下一代人机交互范式。 21世纪经济报道记者肖潇 北京报道 但越接近落地,风险也越有实感。越能干的智能体,越可能越权、越界,甚至失控。 结合调查问卷和行业访谈,本次《智能体体检报告》从最新发展状况、合规认知度、合规实际案例三个角度,试图回答清楚一 个关键问题:智能体狂奔之时,安全合规是否就绪了? 本篇观点速览 安全重要,但不着急。67.4%的业内受访者认为智能体的安全合规问题"非常重要",但优先级排不进TOP 3。 出错与泄露。70%以上的受访者最担心AI幻觉与错误决策、数据泄露问题。 信息差。大部分使用方并不实际掌握/不清楚智能体有哪些权限、能访问哪些数据(58%)。 当下哪一方声音占主流?不同产业角色是如何考虑这一问题的?行业是否存在一些共识?我们结合访谈和问卷调查,试图找到 一条认知水位线。 需要说明的是,虽然2025年被认为是"AI 智能体元年",但智能体尚未像通用大语言模型一样在各行各业被广泛使用。我们收集 的问卷来自已经实际落地的、行业核心 ...
如何看待AI“一本正经地胡说八道”(新知)
Ren Min Ri Bao· 2025-07-01 21:57
【现象】使用人工智能大模型时,不少人或许都遇到过类似问题:它们有时会捏造细节,甚至"一本正 经地胡说八道"。比如,让它推荐书,给出的却是一堆压根不存在的书名;人物身份张冠李戴,还能给 出一些并不准确的链接……这些现象都可以归为AI幻觉。 有报告显示,我国生成式人工智能产品用户规模达2.49亿人。用户规模快速增长,AI幻觉潜藏的风险也 随之增加。比如,如果一些看似合理却与现实相去甚远的内容被AI反复学习,会形成"数据污染—算法 吸收—再污染"的恶性循环。有效防范由此带来的虚假信息泛滥,已成为不容回避的课题。 不过也有观点认为,AI幻觉可被视作一种"发散思维"和"想象力"。理论上,如果把训练一个大模型看作 信息"压缩"的过程,那么大模型经过推理、输出答案就是一个信息"解压"的过程。这种处理信息的方 式,可能会出现谬误,也可能触发新的创造。对发展尚未定型的新事物,要保持开放心态,辩证看待其 利与弊,在有效防范弊端的同时,给予足够空间使之朝好的方向成长。 短时间内,AI幻觉问题难以被解决。各方都在努力降低其负面影响,相关部门也加大了对违规AI产品 的处置力度,推动生成合成内容标识加速落地。一些大模型厂商在积极行动,比 ...