Workflow
人工智能安全
icon
Search documents
谁说老实人赚不到钱?Claude用一张3500亿的支票打脸OpenAI
3 6 Ke· 2026-01-09 02:49
出走5年,估值翻倍!曾被嘲笑「太保守」的Anthropic,正凭3500亿美元身价硬刚OpenAI。看理想主义者如何靠极致安全与Coding神技,在 ARR激增的复仇路上,终结Sam Altman的霸权! 2026开年最震撼的消息!Anthropic计划融资100亿美金,仅半年,估值就从1830亿涨至3500亿。 这不仅是数字的狂飙,更是一场筹谋5年的「完美反击」。 当OpenAI深陷人才流失与烧钱的泥沼时,曾被称为「叛逃者」的Amodei兄妹,正带着Claude向旧主的王座发起冲锋。 历史回溯:「叛逃者」的初心 这场价值3500亿美元的逆袭,早在5年前就已埋下伏笔。 2021年,随着微软的巨额注资,OpenAI逐渐从非盈利转向「利润上限」模式。 由于理念分歧,Dario Amodei和Daniela Amodei兄妹带着7名核心成员毅然离职。 他们一直担心,当AI进化的速度超越了人类的治理能力,安全是否会被商业利益献祭? 当时,硅谷将他们视为「理念偏执者」,认为在算力竞争中,空谈安全无异于自缚手脚。 之后的5年,两家公司几乎在所有关键决策上,选择了完全相反的方向。 Sam Altman选择了一条更激进的扩张 ...
AI出海如何合规?港中文(深圳)吴保元:设个性化安全护栏
Nan Fang Du Shi Bao· 2026-01-07 11:37
在吴保元看来,"人工智能安全"可划分为AI助力安全、AI内生安全以及AI衍生安全三个层次。 具体而言,AI在身份安全、信息安全、网络安全等传统安全领域具备显著应用价值,能够提供切实有 效的保障助力,例如检测电信诈骗风险、防范恶意软件入侵等场景。但与此同时,AI也面临着隐私 性、精确性、鲁棒性的安全"不可能三角"困境——功能足够强大、输出足够精准的AI模型,往往容易出 现隐私泄露和鲁棒性不足等问题。多项研究成果及案例已表明,以ChatGPT为代表的大语言模型会"记 忆"海量训练数据,而当前流行的视觉生成模型也能轻易生成如现实人物肖像等原始训练数据,这类现 象不仅存在明显的隐私泄露隐患,更直接构成了AI内生安全风险。 AI衍生安全风险同样不容忽视。吴保元指出,AI技术在军事领域的武器化应用、在传播领域的虚假信 息生成与扩散、对现有职场岗位的替代效应,以及其可能诱发的"信息茧房"加剧、歧视偏见放大等问 题,都可能对现实社会秩序和公共利益产生负面影响,形成不容忽视的衍生安全风险。 针对上述安全风险,吴保元认为,有必要对AI模型开展价值对齐训练,确保AI的行为逻辑与人类的意 图和价值观保持一致,符合人类社会的法律法规、 ...
前瞻人工智能安全评估体系与基座平台入列北京人工智能前沿成果
Xin Jing Bao· 2026-01-05 04:37
前瞻院通过测试发现了一个关键问题:近年来的大模型在安全性方面并未明显提升,部分新近模型的攻 击成功率甚至更高。但同时前瞻院也验证了一个重要结论:人工智能模型防御并不必然需要重新训练模 型,在在线推理阶段通过部署安全护栏,就能显著提升模型安全水平。针对前瞻安全基准中的各类风 险,前瞻院打造了"前瞻灵御"AI安全攻防平台,可为企业提供标准化评估流程、全面系统的安全分析, 帮助企业准确识别模型安全水平,并提供针对性的防御方案与加固建议。 此外,前瞻院还构建了"前瞻灵度"AI伦理评估平台,专注于AI伦理的智能评估与价值校准。平台能够对 上百个大模型进行实时动态监控与并行测试,评估其在六大维度、90个细分类别的伦理合乎度。其集成 了以中国价值观为核心的大规模中文价值语料库,覆盖3个层面、12个核心价值、50个衍生价值,累计 25万余条规则;收录了全球200余项伦理原则与规范,以及40余项中英文法律法规与国际公约,提供精 准的合规指引。可以对人工智能、数据安全、神经科学、脑机接口、医疗健康、生物安全、危险化学物 质、核物质、自动驾驶等领域进行自动化伦理评估辅助。 前瞻院认为,人工智能安全应成为"第一性原理",是不可删除、 ...
影响市场重大事件:社保基金会表态,充分发挥长期资金、耐心资本作用,更好支持科技创新;中国信通院建设的人工智能产品安全漏洞专业库(CAIVD)正式上线运行
Mei Ri Jing Ji Xin Wen· 2025-12-16 22:37
每经记者|杨建 每经编辑|彭水萍 |2025年12月17日 星期三| NO.1 社保基金会:充分发挥长期资金、耐心资本作用,更好支持科技创新 12月16日,社保基金会召开会议强调,要稳妥审慎抓好基金投资运营。科学有效开展资产配置,稳健做 好各大类资产投资。充分发挥长期资金、耐心资本作用,在守住安全底线的基础上,积极服务国家发展 需要,更好支持科技创新和产业创新深度融合。要着眼长远谋划推动基金事业发展。围绕"十五五"规划 建议提出的重要要求和中央经济工作会议部署的重点任务,系统谋划社保基金事业"十五五"规划,统筹 抓好各项重点工作落实,推动社保基金事业高质量发展。 NO.2 中国信通院建设的人工智能产品安全漏洞专业库(CAIVD)正式上线运行 2025年12月12日,在工业和信息化部网络安全管理局指导下,中国信息通信研究院建设的人工智能产品 安全漏洞专业库(简称CAIVD)正式上线运行。下一步,中国信通院将依托CAIVD,开展人工智能产 品安全漏洞收集和验证,督促人工智能产品提供者及时修补自身产品安全漏洞,支撑人工智能产品安全 漏洞规范管理,共建安全有序产业生态。 NO.3 抖音发布财经行业治理公约,禁止非财经 ...
NeurIPS 2025|指哪打哪,可控对抗样本生成器来了!
机器之心· 2025-12-15 08:10
近日,在全球人工智能领域最具影响力的顶级学术会议 NeurIPS(神经信息处理系统大会)上, 清华大学和蚂蚁数科联合提出了一种名为 Dual-Flow 的新型对抗攻 击生成框架。 简单来说,Dual-Flow 是一个能够从海量图像数据中学习 "通用扰动规律" 的系统,它不依赖目标模型结构、不需要梯度,却能对多种模型、多种类别发起黑盒攻 击。其核心思想是通过 "前向扰动建模 — 条件反向优化" 的双流结构,实现对抗样本的高可迁移性与高成功率,同时保持极低的视觉差异。 可以把它理解为一个" 可控的对抗样本生成器 ", 只需指定想攻击的图像类别(如狗类、人类),模型就能自动生成该类别下逼真且有效的攻击图像 ,为 AI 安全 带来了前所未有的挑战。 研究背景与意义 论文标题:Dual-Flow: Transferable Multi-Target, Instance-Agnostic Attacks via In-the-wild Cascading Flow Optimization 作者:Yixiao Chen, Shikun Sun, Jianshu Li, Ruoyu Li, Zhe Li, Junliang ...
Anthropic嘲讽奥特曼:我们从不玩 “红色警报”!CEO放话:Claude更赚钱!流量仅GPT 1%敢冲3500亿IPO?
AI前线· 2025-12-04 07:22
报道指出,在潜在 IPO 启动前,Anthropic 正推进一轮私募融资,目标估值达 3500 亿美元。目前公 司已与多家大型投行展开相关计划磋商,但谈判仍处于早期阶段。Anthropic 此举或意在抢占竞争对 手 OpenAI 的先机,OpenAI 正考虑于 2026 年下半年上市,估值可能达到此前难以想象的 1 万亿美 元。 在最新播客采访中,Anthropic 首席执行官 Dario Amodei 不仅透露了 Anthropic 的实际收入情况,还 进一步谈到了当前 AI 行业正面临的"两难困境"和竞争护城河,以及后 AGI 时代解决的工作岗位流失 风险的多方面策略。 值得一提的是,Amodei 大嘲了 OpenAI 启动"红色警报"状态一事,并多次 diss 了其首席执行官 Sam Altman 的管理思路与为争夺 AI 行业顶端位置的巨额资金投入。 整理 | 华卫 刚刚,有消息称,Claude 聊天机器人制造商 Anthropic 正为上市计划做准备,估值或超 3000 亿美 元。 据外媒最新报道,Anthropic 已委托硅谷律师事务所 Wilson Sonsini 协助推进最快于明年年初的首次 ...
研究称 OpenAI、xAI 等全球主要 AI 公司安全措施“不及格”,远未达全球标准
Xin Lang Cai Jing· 2025-12-03 13:21
IT之家 12 月 3 日消息,据路透社报道,"未来生命研究所"今天发布了最新 AI 安全指数,指向 Anthropic、OpenAI、xAI 和 Meta 等主要 AI 公司的安全措 施"远未达到新兴的全球标准"。 机构指出,独立专家的评估显示,各企业一心追逐超级智能,却没有建立能真正管控这一类高阶系统的可靠方案。 Mor World V Business V Markets ∨ Sustainability V Al companies' safety practices fail meet global standards, study show By Reuters December 3, 2025 7:18 PM GMT+8 · Updated 22 mins ago Dec 3 (Reuters) - The safety practices of major artificial intelligence companies, such as A OpenAl, xAI and Meta, are "far short of emerging global standards," accordi ...
安恒信息与海光信息签署算力安全战略合作
Ju Chao Zi Xun· 2025-12-03 10:12
根据合作安排,双方将依托国产算力平台,围绕人工智能安全、重点行业场景创新、数据要素开发与流通等领域开展产品适配与联合研发,共同打造 覆盖基础设施、安全产品与行业应用的一体化解决方案。同时,双方还计划在安全能力输出、服务体系建设等方面探索协同模式。 在人才与生态层面,安恒信息与海光信息将通过联合实验室、联合培训等方式,推进安全人才培养和技术经验沉淀,并向上下游合作伙伴开放算力与 安全技术能力,推动形成更为完善的国产算力与安全产业生态。 从应用前景看,双方的合作有望在政务云、金融信创、能源安全生产、工业互联网等场景中落地,为用户提供更安全、高效、智能的数字基础设施, 提升关键行业在自主可控算力和安全防护方面的整体能力。随着项目推进,相关成果也将逐步通过产品化和解决方案形式推向市场。 (校对/秋贤) (文/罗叶馨梅)12月3日,安恒信息(688023.SH)发布消息称,公司与海光信息技术股份有限公司(以下简称"海光信息")正式签署战略合作协议, 确立在技术创新、生态构建和资源共享等多领域长期稳定的合作关系。双方将立足"芯片+应用""算力+安全"的双轮驱动模式,建立长期协同机制。 安恒信息是国内网络安全和数据安全领域 ...
人类没有对抗AI的“终极武器”?美国兰德公司:断网、断电、“以AI治AI”都风险巨大
美股IPO· 2025-11-25 03:40
兰德公司警告,人类尚无应对全球性AI失控的可靠"终极武器"。其评估的三种极端方案——"用核爆瘫痪全球电网"、全球断网及"以AI治AI",均因附带 损害巨大、效果不确定且可能引发灾难而不可行。报告强调,预防远胜于补救,AI安全必须前置。 据追风交易台消息,美国顶级智库兰德公司最新发布了一份极具前瞻性的报告,探讨了在面临灾难性"流氓AI"(Rogue AI)威胁时,人类可采取的三种 全球性技术反制手段。这些手段包括: 高空电磁脉冲(HEMP)攻击、全球互联网关停,以及用"工具AI"对付"流氓AI" 。 然而,报告的结论令人警醒—— 目前没有任何一种技术手段能够可靠、有效地应对全球性失控AI危机。 每一种方案都伴随着巨大的不确定性、毁灭性 的附带损害和极高的执行门槛,甚至可能引发核报复。全球互联网的冗余和分布式特性使其极难被完全关闭,任何尝试都将重创全球经济。而部署专门 的工具AI来对抗流-氓AI,本身就存在失控或被反制的风险。 对于投资者和市场而言,这份报告的意义在于,它揭示了AI技术潜在的系统性风险缺乏有效"保险丝"。报告强调,由于缺乏可靠的技术反制措施,预防 AI失控的重要性被提到了前所未有的高度。这意味着A ...
十大典型案例——360:“以模制模”解决人工智能安全问题
Jing Ji Ri Bao· 2025-11-09 05:49
Core Viewpoint - The company focuses on creating a "Model Safety Guardian" based on the "molded model" concept, addressing the issues of AI reliability, trustworthiness, controllability, and benevolence [1] Group 1 - The solution aims to help enterprises strengthen their defenses against large model security threats [1] - It employs standardized and automated evaluation processes, utilizing a rich dataset and security evaluation models for multi-dimensional inspection of business model outputs [1] - The system features dual protection on both input and output sides, enabling "plug-and-play" security enhancements [1] Group 2 - Post-incident, the solution offers flexible configuration options such as intervention Q&A databases and sensitive word libraries for protective engines [1]