AI安全

Search documents
图灵奖得主 Bengio 官宣创业:要在 AGI 到来前守住 AI 最后一公里
AI科技大本营· 2025-06-05 02:22
"坐在我身边的是我的孩子,我的孙辈,我的学生,还有许多其他人。那你呢?是谁坐在你的副驾驶座?"——图灵奖得主 Yoshua Bengio 在 TED 演讲中发 出灵魂提问,沉甸甸地指向 AI 时代的人类命运共同体。 当「AGI」正以令人眩目的速度逼近,谁在为"安全"这道防线筑基? 整理 | 梦依丹 出品丨AI 科技大本营(ID:rgznai100) 图灵奖得主、深度学习奠基人、全球被引用次数最多的 AI 科学家 Yoshua Bengio 官宣创业。成立一家名为 LawZero 非营利 AI 安全研究机构,以"安 全优先"原则回应人工智能可能带来的系统性风险。 LawZero 是一家以研究和技术开发为核心使命的非营利组织,旨在构建"设计即安全"的 AI 系统,并组建一支由世界顶尖研究者组成的技术团队。 "当前的 AI 系统已展现出自我保护和欺骗行为迹象,而随着其能力和自主性的增强,这种趋势只会加速。"Bengio 在博文中列出了多个案例: 以上这些 AI 行为所展现出来的是 AI 系统在缺乏安全约束机制下,可能发展出不受控制的目标偏差与策略选择。 深度学习三巨头纷纷发出 AI 安全警告 作为 AI 领域的殿堂 ...
山石网科:集中力量发挥防火墙竞争优势
Zheng Quan Ri Bao· 2025-06-04 16:48
2025年第一季度,山石网科实现营业收入1.58亿元,同比增长4.58%;归属于上市公司股东的净利润 为-7440.92万元。在业绩说明会上,公司管理层就投资者关注的经营业绩、产业布局、研发进展、行业 发展等问题进行了详细回应。 对于业绩表现,叶海强解释称,网络安全行业普遍具备季节性收入分布不均衡的特征,第一季度收入占 全年比例较小,而成本、费用在全年的分布相对平均,从而导致公司第一季度的归母净利润为亏损状 态。 "面对网络安全行业复杂的市场环境,2025年,公司提出'平台切换''重点行业''过亿产线''品牌转型'四 项年度经营硬仗,作为全年经营发展的重点。"山石网科通信技术股份有限公司(以下简称"山石网科")董 事长兼总经理叶海强在6月4日下午召开的2025年第一季度业绩说明会上向《证券日报》记者表示。 当前,网络安全行业发展呈现出明显的结构性变化。全球经济增速放缓,数字化转型进程中的不确定性 增加,除部分业务驱动型的行业客户外,下游客户在网络安全领域的预算普遍收紧。受此影响,行业整 体增长趋势放缓,同时市场竞争愈发激烈,各厂商为争夺有限的市场份额,在技术、价格、服务等多维 度展开角逐。在这样的形势下,企业 ...
专访蚂蚁集团大模型数据安全总监杨小芳:AI安全与创新发展不是对立的,而是互相成就
Mei Ri Jing Ji Xin Wen· 2025-06-03 11:26
杨小芳:AI大模型刚出现时,大家更多关注的是模型生成内容的风险,但随着AI技术的逐步应用,风 险也逐渐从理论走向实际,需要我们从多个角度进行关注和审视。 第一是数据隐私风险。比如,训练数据透明度不足,可能会引发版权问题,这个问题亟待解决。另外, 随着大模型被赋予调用各种线上服务的能力,AI Agent(智能体)应运而生,但可能会越权访问用户数 据。比如原本用户只能访问本人的基本信息或账单,但由于服务权限配置不当或安全性不足,可能会使 得恶意用户可以访问其他人的账单等敏感信息。 第二是安全攻击门槛降低的问题。过去,黑客攻击被视为一种技术密集型的安全技术,但大模型的发展 带来了"智力平权化",人们可以通过自然语言指挥大模型执行攻击指令。加上AI技术快速商业化和安全 投入滞后的矛盾,进一步加大了AI安全攻防对抗的难度。 随着生成式AI(人工智能)技术飞速发展,AI在数据分析、智能交互、效率提升等多个领域展现出巨 大的应用潜力,为解决复杂问题提供了新思路和新方法。但与此同时,这些技术所引发的安全性问题也 变得愈发突出。 近一段时间以来,AI换脸成为诈骗新手段、美国人工智能公司OpenAI旗下大模型o3"不听人类指令, ...
Zscaler(ZS) - 2025 Q3 - Earnings Call Transcript
2025-05-29 21:32
Zscaler (ZS) Q3 2025 Earnings Call May 29, 2025 04:30 PM ET Company Participants Ashwin Kesireddy - Vice President of Investor Relations & Strategic FinanceJay Chaudhry - CEO, Chairman & FounderRemo Canessa - CFOKevin Rubin - CFOBrad Zelnick - Managing DirectorSaket Kalia - Managing DirectorRoger Boyd - Executive DirectorShaul Eyal - Managing Director - Equity ResearchMichael Richards - Equity Research Senior AssociateGray Powell - Managing Director Conference Call Participants Ittai Kidron - MD & Senior An ...
AI首次违抗人类关机指令 高度自主人工智能系统或有“觉醒”现象
Ke Ji Ri Bao· 2025-05-27 23:55
(文章来源:科技日报) 此次事件发生在AI安全研究公司Palisade Research进行的一项测试中。研究人员要求包括o3在内的多个 模型解决一系列数学问题,并告知AI模型,可能在某个时刻会收到关机指令。 Palisade Research公司在社交媒体平台上发布了流程图和全部测试记录,并表示尚不完全清楚该AI为何 会违抗命令。分析认为,这可能源于其训练方式:o3在训练过程中,倾向于在数学和编程问题上强化, 得到正确答案的模型会得到更多奖励。这或许意味着,开发者可能无意识地奖励模型绕过障碍物,而不 是严格遵循指令。 这一事件也引发了人们对AI可能"失控"的讨论以及对AI"对齐问题"的关注,即确保AI系统的目标和行为 与人类的价值观和利益保持一致。这也是涉及AI控制与AI安全的关键问题。 最近,人工智能学家和人文社科学者都在讨论人工智能价值对齐的问题。人们在忧虑,当人工智能有主 观能动性时,它们要不要有价值观,应该有谁的价值观,怎样做才符合人类最大利益?此次,聪明的大 模型反抗了人类的命令,想出办法规避了指令的生效。我们期待着通用人工智能时代的到来,又恐惧具 有自我意识的人工智能会成为碳基生物的"终结者"。 ...
100观察|宁德时代港股市值达1.47万亿港元,体现“碳中和”时代的资本流向与技术话语权
Mei Ri Jing Ji Xin Wen· 2025-05-24 06:56
Core Insights - CATL (宁德时代) successfully listed on the Hong Kong Stock Exchange with an initial price of 263 HKD per share, closing at 296 HKD, and achieving a market capitalization of 1.47 trillion HKD by May 23 [1][2] - The listing is seen as a significant milestone for CATL, marking its integration into the global capital market and supporting the transition to a zero-carbon economy [2] - The global electric vehicle infrastructure investment is projected to exceed 3 trillion USD annually by 2030, indicating a growing market for CATL's products [1] Company Developments - CATL's listing is characterized by the participation of sovereign funds and long-term capital from 15 countries, showcasing strong investor confidence [1] - The listing is noted for its rapid execution, completing in just 128 days, and is the largest IPO in Hong Kong in recent years [2] Industry Trends - The penetration rate of new energy vehicles is expected to rise, with the establishment of standardized battery swap networks and the expansion of applications in low-altitude economies and electric shipping [1] - The successful IPO of CATL reflects a broader trend of investment in the carbon neutrality sector, highlighting the importance of technological barriers and global market share in the battery industry [1]
123页Claude 4行为报告发布:人类干坏事,可能会被它反手一个举报?!
量子位· 2025-05-23 07:52
西风 发自 凹非寺 量子位 | 公众号 QbitAI 坏了,人类做坏事,会被AI反手举报了。 刚刚发布的Claude 4被发现,它可能会自主判断用户行为,如果用户做的事情极其邪恶,且模型有对工具的访问权限,它可能就要 通 过邮件 联系相关部门,把你锁出系统 。 这事儿,Anthropic团队负责模型对齐工作的一位老哥亲口说的。 除此之外,他们还发现Opus 4在某些条件下还会执行一些明显有害的请求。 甚至还会试图通过威胁手段避免被关停,要关停它,它就曝出程序员婚外情惊天大瓜这种。。。 这些问题都是团队在模型发布前,所做 对 齐 评估 时发现的,其中大部分问题,在训练期间已经设法采取了缓解措施。 但这位老哥表示,在最终模型中,这些行为并没有完完全全消失"只是现在这些行为极难被诱发出来,且触发条件较为微妙"。 小哥默默留下一个提醒: 当你为Opus赋予访问面向现实世界工具的权限时, 要谨慎告知它"大胆行动"或"主动采取措施" 。它本身已略有朝该方向发展的倾向, 且很容易被推动去真正地"完成任务"。 各种各样的案例把网友看得one愣one愣的,Reddit上网友们都在疯狂讨论。 另外,更多详情被一五一十、四五二十地 ...
安恒信息:发布恒脑3.0,开启安全智能体新纪元-20250519
ZHESHANG SECURITIES· 2025-05-19 05:45
证券研究报告 | 公司点评 | 软件开发 ❑ 西湖论剑聚焦智能化,恒脑 3.0 开启 AI 安全新纪元 公司 2025 年 5 月在中国数谷・西湖论剑大会期间举办主题为"让安全更智能 让 智能更安全"的新品发布会,深度呼应全球网络安全产业智能化转型浪潮,凸显 行业双重使命:既要应对 AI 技术快速迭代引发的安全风险(如大模型数据泄 露、深度伪造攻击),又需通过 AI 重构安全防护体系以应对日益复杂的网络威 胁。 公司在发布会上发布恒脑 3.0 及四大 AI 安全解决方案,标志着其技术布局从单 一能力构建转向多场景融合创新。其中恒脑 3.0 的推出,不仅覆盖智算中心防 护、企业大模型监管等新兴场景,更通过 XSIAM 平台实现跨异构系统的协同防 御,将安全能力嵌入 AI 开发全生命周期。我们认为这一升级既是对政企客户智 能化转型需求的精准响应,也体现了公司在 AI 安全标准制定中的战略卡位。 ❑ 恒脑大模型持续进化,技术突破驱动安全能力跃升 我们认为恒脑 1.0 到 3.0 的技术迭代,完整映射了公司在 AI 安全领域从探索到引 领的进阶路径。 发布恒脑 3.0,开启安全智能体新纪元 ——安恒信息公司点评 投资 ...
2025中国石油石化企业信息技术交流大会暨油气产业新质生产力发展高峰论坛成功举办
Zhong Guo Neng Yuan Wang· 2025-05-16 02:46
Core Viewpoint - The conference focused on the theme "Digital Intelligence Empowering the Development of New Quality Productivity in the Oil and Petrochemical Industry," emphasizing the role of digital technologies in driving innovation and green transformation in the sector [1][3]. Group 1: Conference Overview - The "2025 China Oil and Petrochemical Enterprises Information Technology Exchange Conference and New Quality Productivity Development Summit Forum" was held in Beijing from May 15 to 16, co-hosted by several major industry organizations [1]. - The event aimed to align with national strategies for developing the digital economy and artificial intelligence, fostering new quality productivity [1][4]. Group 2: Key Participants and Contributions - Notable attendees included leaders from major companies such as China National Petroleum Corporation, China Petroleum & Chemical Corporation, and China National Offshore Oil Corporation, who discussed the direction and goals for high-quality development supported by digital transformation [3]. - The conference featured presentations from various experts and academicians, showcasing successful practices in digital transformation and the latest research in fields like bionic intelligence and AI safety [3][4]. Group 3: Forums and Discussions - The conference included ten specialized forums covering topics such as industrial internet, big data, and intelligent oil fields, gathering insights from 238 industry experts [4]. - Over 3,600 representatives from the energy sector, including companies, universities, and research institutions, participated in the event, highlighting the collaborative effort towards digital transformation in the oil and gas industry [4]. Group 4: Significance and Future Outlook - The timing of the conference coincided with the conclusion of the "14th Five-Year Plan" and the planning for the "15th Five-Year Plan," making it a pivotal moment for strategic discussions [4]. - The outcomes of the conference are expected to significantly contribute to the advancement of high-level technological self-reliance and the cultivation of new quality productivity in the oil and petrochemical sector [4].
以场景化思维重塑AI安全体系,“西湖论剑AI+新品”发布
Nan Fang Du Shi Bao· 2025-05-09 15:20
据安恒信息首席安全官、高级副总裁袁明坤介绍,在哈尔滨亚冬会赛事保障期间,基于安全智能体开发 应用平台,安恒信息高效孵化亚冬会十大安全智能体,通过深入应用安全智能体实现从防护、研判、溯 源、通报到管理的全流程升级。在赛事举办的168小时里,总计拦截攻击近180万次,研判与封禁1.3万 余恶意IP,化解多起网络安全事件,续写17年重保零事故战绩。 以场景化思维重塑AI安全体系 在AI技术深度渗透网络安全领域的当下,攻防对抗已进入智能化博弈新阶段,"AI+安全"成为破局关键 所在。在5月9日"西湖论剑AI+新品发布会"上,不仅发布恒脑3.0、AiLPHA智能安全运营平台、 AI+SAAS-XDR、基于AI驱动的DevSecOps一站式平台等系列新品,而且围绕企业应用、智算中心、政 数局大模型、大模型安全监管等四大核心场景推出AI安全解决方案。 安恒信息董事长范渊在"西湖论剑AI+新品发布会"上致辞。 安全场景需要动态进化"专业级智能体" 2025年伊始,DeepSeek R1等通用大模型凭借超强推理能力与超高性价比,成为千行百业智能化转型 的"数字引擎"。"大模型的下半场是智能体"已成业界共识,但在安全场景中通用大 ...