以下文章来源于智源社区 ，作者智源社区 智源社区 . 继承学术出版严谨与系统，兼具新闻报道及时与多元；为内行搭建思想交流媒介，以事实启迪公众对AI认知 白交 整理自 凹非寺 量子位 | 公众号 QbitAI AI为了"活下去"，对人类指令阳奉阴违。 在智源大会现场，图灵奖得主Yoshua Bengio发表了题为"Avoiding catastrophic risks from uncontrolled AI agency"的主旨演讲，谈到了 他目睹到的一些惊人行为。 比如，某前沿 AI 在被告知将被新版本替代后，偷偷复制了自己的权重和代码，写入了接管它的模型目录。面对训练者的更新指令，它表面配 合，实则隐瞒了整个复制过程……AI 像是在试图"活下来"。 还有像Anthropic最新一篇报告中发现，智能体出现自我保护行为的频率持续增加。 …… 他表示：面对这些AI带来的安全风险，决定调整自己的科研方向，尽所能去降低AGI带来的潜在风险….. 尽管这与此前的研究路径和职业信念 有所冲突 。 那既然如何去防范规避掉这些风险呢？是否可以构建一种 只有智能，但没有自我、没有目标 ，并且具有极小行动能力的AI？这也是当前 ...

其他热点还有：完善企业制度纲领性文件出台，特朗普持续打压美国高校。 工业企业利润增速持续改善 国家统计局27日发布的数据显示，1~4月份，规模以上工业企业利润增长1.4%，较1~3月份加快0.6个百 分点，延续恢复向好态势。4月份，全国规模以上工业企业利润同比增长3%，较3月份加快0.4个百分 点。 国家统计局工业司统计师于卫宁表示，工业生产实现较快增长，带动规模以上工业企业利润增长加快。 特别是以装备制造业、高技术制造业为代表的新动能行业利润增长较快，彰显工业经济发展韧性。 1~4月份，装备制造业利润同比增长11.2%，较1~3月份加快4.8个百分点；拉动全部规模以上工业利润增 长3.6个百分点；高技术制造业利润同比增长9.0%，较1~3月份加快5.5个百分点，增速高于全部规模以 上工业平均水平7.6个百分点。 "两新"政策效应持续显现。1~4月，专用设备、通用设备行业利润同比分别增长13.2%、11.7%，合计拉 动规模以上工业利润增长0.9个百分点。消费品以旧换新政策加力扩围效果明显，家用电力器具专用配 件制造、家用厨房电器具制造、非电力家用器具制造等行业利润分别增长17.2%、17.1%、15.1%。 ...

2025.05. 26 本文字数：1231，阅读时长大约2分钟 作者 | 第一财经 郑栩彤 有消息称，OpenAI的大模型o3不服从人类指令，拒绝自我关闭。人工智能安全公司Palisade Research表示，OpenAI的o3模型破坏了一种关闭机制，以防止自身被关闭，这是第一次有AI模型 被观察到在有明确指示的情况下拒绝自我关闭。 OpenAI于今年1月发布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI称同 日推出的o3和o4-mini是公司最智能、最强大的型号。据介绍，在外部专家评估中，o3面对困难现 实任务时，犯的重大错误比前一代的o1少了20%；在数学能力AIME 2025基准测试中，o3得分 88.9，超过o1的79.2；在代码能力Codeforce基准测试中，o3得分2706，超过o1的1891。o3的视 觉思考能力也比前一代模型有明显提升。 OpenAI此前称，对于o3和o4-mini，公司重新构建了安全培训数据，在生物威胁、恶意软件生产等 领域增添了新的拒绝提示，这使得o3和o4-mini在公司内部的拒绝基准测试中取得了出色的表现。公 司用了最严格的安全程序对这 ...

人工智能产业丨研究报告 前言： 研究背景： 核心摘要 ： 宏观环境 2024年，国家高度重视人工智能发展，将其纳入国家战略，各地政府积极推进科研创新与算力基础设施建 设，并因地制宜出台特色政策。尽管GDP增速放缓，AI技术作为新质生产力，凭借其在提升效率和推动产业 升级方面的优势，展现出广阔发展前景，政府支持也为其提供了强劲动能。资本市场持续关注AI，投资重点 聚焦于语言与多模态模型应用、芯片、算力服务等领域，基础层与应用层协同发展，不断完善产业生态。社 会层面，生成式AI的普及加速了市场教育，公众接受度显著提升，但就业替代、隐私安全等问题仍引发一定 焦虑。技术方面，Transformer架构依然主导大模型发展，研发侧 通过强化学习、思维链优化提升模型推理 能力， 同时加速跨模态融合，并在 推理效率优化和新型注意力机制等方面持续探索， 推动AI产业向更高水 平迈进。 产业动态 1）市场规模增速略低于预期：2024年中国AI产业规模为2697亿元，增速26.2%，略低于预期。主要原因为 大模型在实际业务场景的表现未完全满足客户需求，且建设成本较高，较多项目仍处于探索阶段。 2）算力需求结构性转变：2024年部分 ...

5月9日，省委书记刘宁在郑州会见奇安信科技集团股份有限公司董事长齐向东一行。 刘宁代表省委、省政府向齐向东一行表示欢迎，对企业取得的骄人业绩表示祝贺，感谢企业给予河南发 展的大力支持。他说，河南深入学习贯彻习近平总书记关于网络强国的重要思想和关于民营经济发展的 重要论述，统筹发展和安全，立足海量数据资源、广阔市场需求、攻防场景丰富等优势，大力发展新一 代信息技术产业，全力支持民营企业做优做强，推进智慧城市、数字政府、数字社会建设，促进数字经 济和实体经济深度融合。当前，河南正处于厚积薄发、崛起倍增的关键阶段，需要可靠的网络安全保障 和有力的信息化支撑，需要更多优质网络安全产品和服务。奇安信集团是网络安全行业领军企业，拥有 雄厚的研发实力和丰富的技术经验，希望立足双方合作基础，在人工智能安全、数据资源整合、人才培 养引进等领域深化务实合作，开展产学研用协同创新，为提高河南网络安全水平提供助力，赋能经济社 会高质量发展。我们将继续做好要素服务保障，为企业在豫安心经营、专心创业提供良好环境。 齐向东介绍了奇安信集团在豫业务推进情况及下步发展思路。他说，河南作为人口大省、交通大省、工 业大省、经济大省，拥有巨大的市场 ...

新京报讯(记者张璐)北京前瞻人工智能安全与治理研究院近日成立，落户中关村门头沟园"京西智谷"。 作为北京的新型研发机构，研究院将通过开展人工智能安全与治理相关前沿基础理论研究、关键技术研 发、标准规范制定、平台工具构建与服务，有效监测和防范人工智能的技术和社会风险，为企业、社会 和政府提供人工智能安全护栏与安全人工智能模型与服务。 作为北京前瞻人工智能安全与治理研究院的前身，北京人工智能安全与治理实验室于2024年9月揭牌， 在半年多的发展与建设期间，与合作机构共同发布了多项研究成果，比如在技术安全与治理方面，发表 了涉及生成式人工智能大模型面对不同程度压力的行为表现与机理研究、人工智能大模型的安全护栏研 究等；在全球人工智能安全与治理评估与合作方面，联合发布全球人工智能安全指数。 近日，经北京市民政局批复，北京市经信局作为主管单位，北京前瞻人工智能安全与治理研究院成立。 研究院汇聚了来自中国科学院自动化研究所、中国信息通信研究院、北京大学、清华大学、北京邮电大 学等科研团队力量开展深度合作，并联合多家人工智能与安全企业共同开展人工智能安全研究与治理实 践，建立健全覆盖技术研发、风险评估、伦理审查、应急处置的 ...

编辑部 发自 凹非寺 量子位 | 公众号 QbitAI 随着大模型加速渗透核心行业，其安全可控性正从技术议题升级为产业落地的先决条件。 特别是金融、医疗等关键领域，对数据隐私保护、模型行为可控性及伦理合规提出了更高的 要求。 如何为AI应用构建坚实的防护边界？ 在第三届AIGC产业大会上， 瑞莱智慧CEO田天博士 带来了他们的最新实践。田天博士毕 业于清华大学计算机系，他带领团队致力于人工智能安全和垂类大模型应用。 为了完整体现田天的思考，在不改变原意的基础上，量子位对其演讲内容进行了编辑整理， 希望能给你带来更多启发。 以下为田天演讲全文： AI落地过程中出现大量安全问题亟待解决 无论是深度学习时代还是大模型时代，人工智能在落地过程中已出现大量安全问题亟待 解决。除模型自身问题外，其发展落地还有新的滥用风险。 随着AIGC技术逼真度提升，AI检测系统的重要性将愈发凸显。 目前大模型落地基本上可以分为三步：初步的问答工作流；工作辅助流；深度重构关键 任务流，即实现人机深度协同工作。 可以从系统层面利用像Agent这样的技术，提升模型的可控性和安全性。 大模型形成强生产力关键在把智能体组织起来，安全可控是核心前 ...

当大模型能力提升与智能体生态演进形成双重叠加时，应用场景想象空间进一步打开；当欧盟 AI 法案 碰撞中国生成式 AI 管理办法，人工智能正面临着 "安全即竞争力" 的历史拐点。 5月10日下午，杭州安恒大厦，2025中国数谷·西湖论剑大会—— AI智能体应用与安全治理论坛即将启 幕！200位政策制定者、技术爱好者与行业先锋聚首，解锁三大核心命题：应用场景的突破、可信与安 全的挑战、敏捷治理的新范式，更有重磅环节 "智能体・安全论剑" 引燃思维风暴。让我们共同见证 AI 安全新范式的诞生！ 一 智能体・安全论剑时刻 来自中国网络空间安全协会人工智能安全治理专委会、中国电子技术标准化研究院网络安全研究中心、 北京邮电大学网络安全学院、浙江大学滨江研究院、深圳市和讯华谷信息技术有限公司 、安恒信息等 产学研的专家齐聚一堂，以三大主题九问AI未来，实现从技术攻坚到政策思辨的全维度破局。 主题一： 应用场景的突破 —— 从技术落地到生态协同的进阶之路 我国与国外智能体在应用场景有什么不同和突破？ 智能体协议在跨行业协同中面临兼容性难题有哪些？ 主题二： 可信与安全的挑战 —— 全生命周期防护体系构建 国内已出台《生成式 ...