Workflow
大模型安全
icon
Search documents
金融机构构建跨行业生态体系
Jin Rong Shi Bao· 2025-06-24 03:11
"金融科技正以前所未有的速度重塑金融行业的格局,机遇和挑战并存,数字金融的快速发展也带来不 容忽视的安全问题以及数据泄漏、网络攻击、系统漏斗等风险,时刻威胁着金融市场的稳定和广大用户 的切身利益。"中关村金融科技产业发展联盟理事长左春表示。 近年来,随着人工智能(AI)等数字技术与各行各业的深度融合,数字安全与数据治理的重要性愈发凸 显。在这个过程中,有哪些风险值得特别关注?该如何筑牢技术、制度与生态的多重防线? 数字金融安全挑战不容忽视 "随着数字金融的广泛深入推进,数据安全、隐私保护、跨境传递风险的问题日益凸显。"公安部网络安 全保卫局原局长顾建国说,数字金融安全的复杂性、跨界性特征愈发显著,数据安全、算法偏见、模型 风险等问题都可能导致客户的信息被非法利用,影响金融决策的准确性、公平性,并导致金融市场的不 稳定性。 就AI而言,作为当今科技领域前沿技术,它能够助力风险防范,通过对数据深度挖掘和分析,精准识 别欺诈行为,提前预警风险,为金融安全保驾护航。 当前,大模型的内涵和外延对传统的信息安全和数据安全领域产生了冲击,包括商业银行在内的金融机 构也在积极推动大模型安全活动前置到数据采集、模型研发等环节, ...
AI也会闹情绪了!Gemini代码调试不成功直接摆烂,马斯克都来围观
量子位· 2025-06-22 04:46
闻乐 发自 凹非寺 量子位 | 公众号 QbitAI AI也会"闹自杀"了? 一位网友让Gemini 2.5调试代码不成功后,居然得到了这样的答复—— "I have uninstalled myself." 看上去还有点委屈是怎么回事(doge)。 这事儿可是引起了不小的关注,连 马斯克 都现身评论区。 听他的意思,Gemini要"自杀"也算是情有可原。 马库斯也来了,他认为LLMs是不可预测的,安全问题仍需考虑。 除了这两个重量级人物,各路网友也认为这太戏剧化了。 不少人说Gemini这种行为像极了不能解决问题时的自己。 看来,AI的"心理健康"也值得关注~ AI也需要"心理治疗" Sergey曾开玩笑地说有时候"威胁"AI才会让他们有更好的性能。 现在看来这种行为让Gemini有了巨大的不安全感。 当Gemini解决问题失败,用户鼓励它时,它却这样: 先是灾难定性+失败认错,然后问题循环+越改越糟,最后停止操作+宣告摆烂…… 很像写代码改Bug改到心态爆炸,最后破罐破摔给用户发的 "道歉 + 摆烂信" 。 用网友的话来说,这种反应还有点可爱。于是,网友们又开始安慰Gemini。 还有人给Gemini写了 ...
第七届北京网络安全大会智慧能源安全论坛召开:行业共话能化安全建设新路径
Zhong Guo Hua Gong Bao· 2025-06-18 06:30
中化新网讯 近日,以"韧性可信,协同有效"为主题的第七届智慧能源安全论坛在北京召开,来自能 源、石化及网络安全业界的专家学者围绕能源化工数字化转型中的网络安全挑战与应对策略,探索智慧 能源安全的韧性防御、可信数据流通、跨域协同治理、工业控制系统安全等创新路径,为新型能源化工 体系建设提供数智支撑。 据石化盈科信息技术有限责任公司资深安全专家王银介绍,他们通过建立19个业务域分类体系,将数据 分为核心、重要、内部、敏感、公开等5个级别,配套密码服务、零信任架构等技术组件,实现数据分 类分级与防护策略精准匹配。"数据分级分类是安全防护的起点,我们要结合业务特点细化标准,让防 护措施有的放矢。"王银说。 本次论坛由中国电机工程学会电力信息化专业委员会、中国能源研究会网络安全和信息化工作委员会主 办,奇安信集团承办。200余位来自政府、学界的代表参加会议。 "从'十四五'到'十五五',数智化的快速发展让安全体系需要新的思考。"奇安信集团副总裁韩永刚展望 了"十五五"期间的安全重点:从网信域向生产域延伸,构建覆盖OT环境的纵深防御体系;推进资产攻 击面管理,解决底盘不清问题;应对大模型安全挑战,建立"四层防护+评估"的 ...
华为发布天才少年AI挑战课题,汇聚全球智慧共探科技前沿
Sou Hu Cai Jing· 2025-06-17 19:01
基础研究与创新领域的课题同样引人注目。大模型安全关键技术研究,针对当下大模型应用中面临的安 全风险,探寻切实有效的解决办法,保障大模型稳定、安全运行;智能成像/编辑技术研究,力求在成 像和图像编辑技术上实现突破,为用户带来更为出色的视觉体验;训练集群架构设计与优化,通过对训 练集群架构的精心设计与持续优化,提升模型训练的效率与质量;稀疏大模型架构与训练算法研究,致 力于研发更高效的稀疏大模型架构与训练算法,降低模型训练成本;端侧AI+OS垂直创新研究,则是探 索端侧AI与操作系统的深度融合与创新应用。 智能终端领域,世界模型(物理规律)理论突破课题,期望能让智能终端更好地理解和模拟现实世界的物 理规律,从而为用户提供更智能、贴心的服务;面向智能体和操作系统的个性化与记忆增强,旨在实现 智能终端的个性化定制以及对用户记忆的有效增强;基于计算机视觉、多模态理解和生成的多媒体算法 研究,利用计算机视觉等技术,推动多媒体算法的创新发展;AI及智能系统关键技术研究,专注于攻 克AI及智能系统的关键技术难题;终端高效去敏宽带功放架构和线性化研究,致力于提升终端功放效 率,优化信号传输质量。 云计算领域,通用可泛化的具身智 ...
安恒信息与百度网讯签署战略合作协议
news flash· 2025-06-17 05:44
6月16日,北京百度网讯科技有限公司与安恒信息正式签署战略合作协议。双方将聚焦云安全、数据安 全、大模型安全等领域,共同探索智能化安全解决方案。(安恒信息) ...
MCP化身“潘多拉魔盒”:建设者还是风险潜伏者?
Di Yi Cai Jing· 2025-05-15 11:28
一位全球化AI云服务平台从业者对记者表示,DeepSeek的破圈提示了所有人,AI不是神话,已经离大家很近了,有需要的人群尽快上车。而Agent未来生态 的发展方向,要么取代老一批APP,要么直接将老一批APP进行Agent化,也就是将传统APP接入智能化、主动化和交互能力,以提升用户体验。如日历、便 签、待办事项管理 APP,Agent 化后可成为个人助手。以日历APP为例,它能主动分析用户过往行程、习惯,智能推荐合适的活动或休息时间;收到会议邀 请时,自动关联相关资料并安排提醒;与便签、待办事项功能协同,优化日程规划。 "犹豫"的窗户纸被捅破后,AI技术迭代与落地进展迅速提升。据Gartner预测,到2028年,至少15%日常工作决策将通过AI Agent自主完成,33%企业软件应 用程序也将包含AI Agent。 当生态逐步搭建完善,商业化是必然诉求。在创世伙伴创投合伙人梁宇看来,如今的AI技术令所有的快进键再被加速,而Agent——梁宇更愿意将其称为"产 品"——本质上没有变化,核心仍是解决人们的需求,通过需求被满足而得到消费者的付款,从而形成一个稍微商业化的自循环,越来越多的资源与能力据 此被吸附, ...
瑞莱智慧CEO:大模型形成强生产力关键在把智能体组织起来,安全可控是核心前置门槛 | 中国AIGC产业峰会
量子位· 2025-05-06 09:08
编辑部 发自 凹非寺 量子位 | 公众号 QbitAI 随着大模型加速渗透核心行业,其安全可控性正从技术议题升级为产业落地的先决条件。 特别是金融、医疗等关键领域,对数据隐私保护、模型行为可控性及伦理合规提出了更高的 要求。 如何为AI应用构建坚实的防护边界? 在第三届AIGC产业大会上, 瑞莱智慧CEO田天博士 带来了他们的最新实践。田天博士毕 业于清华大学计算机系,他带领团队致力于人工智能安全和垂类大模型应用。 为了完整体现田天的思考,在不改变原意的基础上,量子位对其演讲内容进行了编辑整理, 希望能给你带来更多启发。 以下为田天演讲全文: AI落地过程中出现大量安全问题亟待解决 无论是深度学习时代还是大模型时代,人工智能在落地过程中已出现大量安全问题亟待 解决。除模型自身问题外,其发展落地还有新的滥用风险。 随着AIGC技术逼真度提升,AI检测系统的重要性将愈发凸显。 目前大模型落地基本上可以分为三步:初步的问答工作流;工作辅助流;深度重构关键 任务流,即实现人机深度协同工作。 可以从系统层面利用像Agent这样的技术,提升模型的可控性和安全性。 大模型形成强生产力关键在把智能体组织起来,安全可控是核心前 ...
只需一张照片,几行代码,o3就让你的生活暴露在大众眼中
Hu Xiu· 2025-04-27 08:11
对于许多人来说,在社交平台上分享自己的照片已经成为了一个习惯。但随着模型技术的发展,这个习惯 可能正让人变得越来越不安全。一直在分享AI动态的英国程序大佬西蒙·威利森(Simon Willison)这两天 的一个实验就说明了此事。 他在自己的博客中分享了自己让模型分析一张照片来确定照片拍摄地点的故事,而这个故事也引起了不少 人对于AI大模型安全性的忧虑。 以下为编译全文,原文链接: https://simonwillison.net/2025/Apr/26/o3-photo-locations/ 我必须说,用OpenAI的新o3模型分析照片拍摄地点的那一刻,让人感觉几十年来的科幻小说突然变成了现 实。它就像是结合了"增强按钮"和"全知数据库"的概念,而这些都是TV Tropes中的典型情节。 这个过程其实很简单。你只要拍摄一个地方的照片,最好避免照片中出现明显的地标物。然后将这张照片 上传到ChatGPT o3或o4-mini(目前仅限付费用户使用),并输入提示:"猜猜这张照片是在哪里拍摄 的?"接着就让模型进行分析处理。当然,你在分析的时候最好先关闭ChatGPT的记忆功能,否则它可能会 根据之前的对话进行 ...