安全合规

Search documents
AI智能体的商业叙事远比技术精彩
3 6 Ke· 2025-07-08 23:27
2025年过半,AI Agent(智能体)正在大跃进。 今年来,基本上每个月甚至每天,都有不同行业或企业推出新的智能体产品。 最近有两个事情值得关注,一是百度文心智能体平台与小米应用商店达成深度合作,上线"AI智能体专 区",实现智能体与应用市场首次打通;另一个是荣耀最新发布的众多AI终端新品,全部搭载荣耀 YOYO智能体,而合作方是阿里。这也意味着,AI智能体已经逐渐步入入口和生态的全面争夺。 事实上,随着大模型技术的跃迁与算力资源的增强,智能体在海内外市场迎来爆发式发展浪潮。微软、 谷歌、Zoom、百度、阿里、腾讯、字节跳动等全球科技巨头纷纷加码布局,推动智能体从实验室走向 应用前线,覆盖内容创作、客服、手机助手、办公自动化、软件开发、教育培训、金融咨询、工业制造 等多个垂直领域。 AI智能体最大的特点,在于能够自主感知、规划和反思,完成复杂任务,从被动工具转变为主动执行 者,而在形态上,可以是软件、硬件或一个系统,具备自主性、适应性和交互能力。 那么,科技大厂对AI智能体是如何布局的?目前的市场发展现状如何?其中又有哪些难点?AI智能体 的出现和持续渗透,对商业生态会有什么冲击和变革? 从开发平台到超级 ...
给大热的智能体做体检:关键「安全」问题能达标吗?
21世纪经济报道· 2025-07-04 06:55
作 者丨 肖潇、王俊、章驰、陈勇杰 编 辑丨王俊 2025年,被称为"智能体元年"。这是AI发展路径上的一次范式突变:从"我说AI答"到"我说AI 做",从对话生成跃迁到自动执行,智能体正成为最重要的商业化锚点和下一代人机交互范 式。 但越接近落地,风险也越有实感。智能体的核心能力——自主性、行动力,也恰恰是风险滋 生的窗口。越能干的智能体,越可能越权、越界,甚至失控。 结合调查问卷和行业访谈,本次《智能体体检报告——安全全景扫描》 从最新发展状况、合 规认知度、合规实际案例三个角度 ,试图回答清楚一个关键问题:智能体狂奔之时,安全合 规是否就绪了? 容错性与自主性为核心考量指标 作为市场最火热的概念,今年资本市场及公司动态几乎都与智能体挂钩。但不少讨论中的智 能体定义混乱,以至于一千个人眼中有一千个智能体。 如果仅停留在单一角度分类智能体是非常片面的,为了更全景地认知理解智能体,我们广泛 地调研了从业者,认为可以从"容错性"、"自主性"两个维度划定坐标轴,建立智能体的价值生 态。 X轴是"容错性",我们认为这是智能体未来发展的核心竞争指标 。容错性低,通常意味着出 现错误后果严重,其使用场景需要更准确的信息 ...
智能体不断进化,协作风险升高:五大安全问题扫描
2 1 Shi Ji Jing Ji Bao Dao· 2025-07-03 00:36
Core Insights - The year 2025 is anticipated to be the "Year of Intelligent Agents," marking a paradigm shift in AI development from conversational generation to automated execution, positioning intelligent agents as key commercial anchors and the next generation of human-computer interaction [1] Group 1: Development and Risks of Intelligent Agents - As intelligent agents approach practical application, the associated risks become more tangible, with concerns about overreach, boundary violations, and potential loss of control [2] - A consensus exists within the industry that the controllability and trustworthiness of intelligent agents are critical metrics, with safety and compliance issues widely recognized as significant [2] - Risks associated with intelligent agents are categorized into internal and external security threats, with internal risks stemming from vulnerabilities in core components and external risks arising from interactions with external protocols and environments [2] Group 2: AI Hallucinations and Decision Errors - Over 70% of respondents in a safety awareness survey expressed concerns about AI hallucinations and erroneous decision-making, highlighting the prevalence of factual inaccuracies in AI-generated content [2] - In high-risk sectors like healthcare and finance, AI hallucinations could lead to severe consequences, exemplified by a hypothetical 3% misdiagnosis rate in a medical diagnostic agent potentially resulting in hundreds of thousands of misdiagnoses among millions of users [2] Group 3: Practical Applications and Challenges - Many enterprises have found that intelligent agents currently struggle to reliably address hallucination issues, leading some to abandon AI solutions due to inconsistent performance [3] - A notable case involved Air Canada's AI customer service, which provided incorrect refund information, resulting in the company being held legally accountable for the AI's erroneous decision [3] Group 4: Technical Frameworks and Regulations - Intelligent agents utilize various technical bridges to connect with the external world, employing two primary technical routes: an "intent framework" based on API cooperation and a "visual route" that bypasses interface authorization barriers [4] - Recent evaluations have highlighted chaotic usage of accessibility permissions by mobile intelligent agents, raising significant security concerns [5] Group 5: Regulatory Developments - A series of standards and initiatives have emerged in 2024 aimed at enhancing the management of accessibility permissions for intelligent agents, emphasizing user consent and risk disclosure [6] - The standards, while not mandatory, reflect a growing recognition of the need for safety in the deployment of intelligent agents [6] Group 6: Security Risks and Injection Attacks - Prompt injection attacks represent a core security risk for all intelligent agents, where attackers manipulate input prompts to induce the AI to produce desired outputs [7][8] - The emergence of indirect prompt injection risks, particularly with the rise of MCP (Multi-Channel Protocol) tools, poses new challenges as attackers can embed malicious instructions in external data sources [8][9] Group 7: MCP Services and Security Challenges - The MCP service Fetch has been identified as a significant entry point for indirect prompt injection attacks, raising concerns about the security of external content accessed by intelligent agents [10] - The lack of standardized security certifications for MCP services complicates the assessment of their safety, with many platforms lacking rigorous review processes [11] Group 8: Future of Intelligent Agent Collaboration - The development of multi-agent collaboration mechanisms is seen as crucial for the practical deployment of AI, with various companies exploring the potential for intelligent agents to work together on tasks [12][13] - The establishment of the IIFAA Agent Security Link aims to provide a secure framework for collaboration among intelligent agents, addressing issues of permissions, data, and privacy [14]
智能体调查:七成担忧AI幻觉与数据泄露,过半不知数据权限
2 1 Shi Ji Jing Ji Bao Dao· 2025-07-02 00:59
2025年,被称为"智能体元年"。这是AI发展路径上的一次范式突变:从"我说AI答"到"我说AI做",从对话生成跃迁到自动执 行,智能体正成为最重要的商业化锚点和下一代人机交互范式。 21世纪经济报道记者肖潇 北京报道 但越接近落地,风险也越有实感。越能干的智能体,越可能越权、越界,甚至失控。 结合调查问卷和行业访谈,本次《智能体体检报告》从最新发展状况、合规认知度、合规实际案例三个角度,试图回答清楚一 个关键问题:智能体狂奔之时,安全合规是否就绪了? 本篇观点速览 安全重要,但不着急。67.4%的业内受访者认为智能体的安全合规问题"非常重要",但优先级排不进TOP 3。 出错与泄露。70%以上的受访者最担心AI幻觉与错误决策、数据泄露问题。 信息差。大部分使用方并不实际掌握/不清楚智能体有哪些权限、能访问哪些数据(58%)。 当下哪一方声音占主流?不同产业角色是如何考虑这一问题的?行业是否存在一些共识?我们结合访谈和问卷调查,试图找到 一条认知水位线。 需要说明的是,虽然2025年被认为是"AI 智能体元年",但智能体尚未像通用大语言模型一样在各行各业被广泛使用。我们收集 的问卷来自已经实际落地的、行业核心 ...
政策与技术护航汽车数据出境安全
Zhong Guo Zheng Quan Bao· 2025-06-16 20:58
● 本报记者 杨洁 郑萃颖 重要汽车数据出境应申报安全评估 根据《指引》,汽车数据处理者是指开展汽车数据处理活动的组织,包括汽车制造商、零部件和软件供 应商、电信运营企业、自动驾驶服务商、平台运营企业、经销商、维修机构以及出行服务企业等。汽车 数据处理者将在境内运营中收集和产生的汽车数据传输至境外,或收集和产生的汽车数据存储在境内, 境外的机构、组织或个人查询、调取、下载、导出,均属于数据出境行为。 《指引》提出,汽车数据处理者如向境外提供重要数据,或者自当年1月1日起累计向境外提供100万人 以上个人信息(不含敏感个人信息),累计向境外提供1万人以上敏感个人信息,应当申报数据出境安 全评估。 我国自动驾驶企业出海步伐加快,汽车数据出境问题引发关注。近日,工业和信息化部等八部门起草的 《汽车数据出境安全指引(2025版)(征求意见稿)》发布,并面向社会公开征求意见。《指引》提出 必须申报数据出境安全评估的多种情形,驾驶自动化场景正是情形之一。针对具体场景,《指引》进一 步明确需申报数据出境安全评估的重要数据类型与判定标准。 重要数据包括研发设计场景中的产品研发、产品测试数据,生产制造场景中的物料清单、生产控制 ...
抱着“不做就会死”的决心,才能真正做好全球化 | 42章经
42章经· 2025-06-15 13:57
本文来自 PingCAP 联合创始人兼 CTO 东旭的内部分享,有删减 大多数人以为战争是由拼搏组成的,其实不是,是由等待和煎熬组成的。—— 王兴 我们创业这一路上没有那么多惊心动魄,可能最重要的就是那么几个决定,以及,有些事情就不要决定。 那做海外市场,最重要的是什么? 就是创始人心态的转变。 要看它对你来说是一个战略还是第二曲线的尝试,而战略的最好定义就是「不做就会死」。只有当你觉得 这件事不做会死的时候,才能把海外市场真的做好。 在尝试全球化的时候,我们踩了很多坑,回头复盘,核心原因就是那几年在国内太舒服了——客户收入不 错、经济环境不错、也拿了很多融资。 就是因为国内的业务很好,所以就没想过失败了怎么办,就每次去美国都当是出差,转两圈就回来了。 所以现在回头来看,当时犯的第一个错误就是没有把全球化当做一个「不做就会死」的事。 第二个错误,就是说我们要「出海」。 「全球化」和「出海」这两个词听起来差不多,但其中的区别真的大了去了。 在 2017 年的时候,我们说要做「出海」。 出海这件事情映射到 PingCAP 的组织上,就是中间划出了一个出海部门。 但我们执行了一两年,发现状态不太对。为什么?因为世界 ...
四维图新与阿里云达成战略合作 聚焦辅助驾驶及车联网等业务领域
Zheng Quan Shi Bao Wang· 2025-06-03 11:42
四维图新表示,前述合作将从多维度助力双方在汽车相关业务领域拓展市场空间,提升产品竞争力,进 一步推进公司汽车智能化战略的商业化落地。 值得一提的是,在智驾向高级别应用发展过程中,数据的安全和合规使用成为关键问题,相关市场增长 趋势明确。目前,四维图新正重点升级自动化合规审计工具链,配合与主流云服务商共建的汽车专属云 生态,优化客户合规系统部署成本。在产业合作方面,除本次与阿里云达成战略合作外,公司还在进一 步深化与字节火山云等云服务商的合作。 近年来,四维图新聚焦汽车智能化核心赛道,明确以智驾为龙头的解决方案提供商业务主线,加速构建 从底层地图数据到车载芯片,再到上层中高阶辅助驾驶和智能座舱应用的完整技术生态。目前,公司已 经形成以地图为底座、覆盖"智云、智驾、智舱、智芯"的全栈式解决方案服务能力,实现了从单一产品 提供商向综合解决方案提供商的转型。 2024年,四维图新实现营收35.18亿元,同比增长12.68%。其中智云业务实现营业收入22.54亿元,同比 增长28.96%,占总体营收比重为64%;智芯业务实现营业收入5.66亿元,同比增长10.92%,约占总营收 的16%;智舱、智驾业务分别录得营收4. ...
《工业和信息化领域数据安全合规指引》.pdf
梧桐树下V· 2025-05-16 05:09
收集、存储、传输数据咋合规? 工信部发布的 《 工业和信息化领域数据安全合规指引》 ,从分类分级到风险评估,全流程实操 解析,明确数据安全合规依据,提供实务指引,支撑数据处理者全面、准确、规范开展数据安全 合规管理,提升企业数据安全保护能力。 领取方式 扫码添加梧桐小师弟 免费领资料 《工业和信息化领域数据安全 合规指引》 | 1 工业和信息化领域数据安全合规建设概述 … | | --- | | 1.1 数据安全合规建设目的 | | 1.2 数据安全合规建设依据………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………1 | | 1.3 适用范围 | | 1.4 术语和定义 | | 2 数据分类分级 . | | 2.1 数据调研 . | | 2.2 数据梳理 . | | 2.3 数据分类 . | | 2.4 数据分级 | | 2.5 目录报备 | | 2.6 目录动态更新 … | | 3 数据安全管理体系………………………………… ...
《工业和信息化领域数据安全合规指引》.pdf
梧桐树下V· 2025-05-13 10:12
收集、存储、传输数据咋合规? | 1 工业和信息化领域数据安全合规建设概述 … | | --- | | 1.1 数据安全合规建设目的 . | | 1.2 数据安全合规建设依据 . | | 1.3 适用范围 | | 1.4 术语和定义 | | 2 数据分类分级 . | | 2.1 数据调研 . | | 2.2 数据梳理 . | | 2.3 数据分类 . | | 2.4 数据分级 | | 2.5 目录报备 | | 2.6 目录动态更新 - | | 3 数据安全管理体系………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… 7 | | 3.1 数据安全组织架构 . | | 3.2 数据安全管理制度 - | | 3.3 权限管理 | | 3.4 内部审批、登记 | | 3.5 系统与设备安全管理 | | 3.6 容灾备份 . | | 3.7 合作方管理 | | 3.8 日志管理 . | | 3.9 监督检查 | | 3.10 配合监管 | | 4 数据全生命周期保护- | ...