可信AI

Search documents
上海AI Lab主任周伯文:关于人工智能前沿的十个问题
机器人圈· 2025-06-26 10:46
详细会议介绍参看往期文章: (点击蓝字跳转) 报名开启|顶流期刊征+2025智能机器人关键技术大会盛会将至! 展览展示|抢位2025智能机器人关键技术大会!高曝光商务合作虚位以待,共赴解锁新机遇 以下文章来源于上海人工智能实验室 ,作者Shanghai AI Lab 上海人工智能实验室 . 上海人工智能实验室是我国人工智能领域新型科研机构,开展战略性、原创性、前瞻性的科学研究与技 术攻关,目标建成国际一流的人工智能实验室,成为享誉全球的人工智能原创理论和技术的策源地。 9大期刊联合征文|投稿2025智能机器人关键技术大会,年底正刊发表! "对发现问题的投入,与解决问题同样重要。" 这是 上海人工智能实验室主任周伯文 在首届明珠湖会议所作开场报告中的核心观点之一。 在报告中,周伯文还提出关于人工智能前沿的十个问题: 1. 总体智能 vs 单位智能:如何平衡智能发展的质量与效率? 2. Deep RL规模化发展的资源悖论:如何平衡"数据合成"和"算法训练"两大任务的算力分配? 3. 软硬协同创新:软件向硬件适配,还是硬件向软件兼容? 4. 算力受限的影响:针对应用、迭代和颠覆性的技术,算力应如何配置? 10. 颠 ...
CVPR 2025 Highlight | 国科大等新方法破译多模态「黑箱」,精准揪出犯错元凶
机器之心· 2025-06-15 04:40
本文第一作者为中国科学院大学的博士生陈若愚,主要研究可解释 AI 以及在训练推理中的落地应用。第二作者为新加坡国立大学的梁思源,主要研究可信 AI。 主要合作者来自华为技术有限公司的刘势明和李茂森。通讯作者为中山大学的操晓春教授和中科院的张华研究员。 AI 决策的 可靠性与安全性 是其实际部署的核心挑战。当前智能体广泛依赖复杂的机器学习模型进行决策,但由于模型缺乏透明性,其决策过程往往难以被理解与 验证,尤其在关键场景中,错误决策可能带来严重后果。因此,提升模型的可解释性成为迫切需求。 目前已有的解释方法,如 Shapley Value、Integrated Gradients、Attention、Gradient(如 Grad-CAM)以及 Perturbation 等,虽然在小规模模型中取得了较好的解释效 果,但在面对多模态任务或大规模模型时,均存在不同程度的局限性,难以直接扩展或适用。因此, 发展一种在大模型与小模型中均具有良好适应性的高效可解 释归因方法具有重要意义 。 近期,中国科学院、新加坡国立大学、华为技术有限公司与中山大学的联合研究在多模态物体级基础模型的可解释归因技术方面取得了重要突破, 不 ...
蚂蚁集团大模型数据安全总监杨小芳:用可信AI这一“缰绳”,驾驭大模型这匹“马”
Mei Ri Jing Ji Xin Wen· 2025-06-09 14:42
随着AI(人工智能)技术飞速发展,AI在数据分析、智能交互、效率提升等多个领域展现出巨大的应 用潜力,为解决复杂问题提供了新思路和新方法。但与此同时,这些技术所引发的安全问题也变得愈发 突出。 近一段时间以来,AI换脸成为诈骗新手段、美国人工智能公司OpenAI旗下大模型o3"不听人类指令,拒 绝自动关闭"等相关新闻相继冲上热搜,引起社会高度关注。这些事件不仅凸显了AI技术可能带来的风 险,也引发人们对技术滥用、伦理道德、隐私保护以及安全风险的广泛讨论。 AI技术在安全方面究竟存在哪些隐患?目前主要的防护策略是什么?企业应怎样应对大模型数据安全 领域风险?行业标准又能发挥怎样的作用?带着一系列问题,《每日经济新闻》记者(以下简称 NBD)电话专访了大模型安全行业专家、蚂蚁集团大模型数据安全总监杨小芳。 作为在人工智能安全领域深耕多年的专家,杨小芳深入阐释了当前AI技术的安全现状以及未来发展方 向。她指出,随着AI技术逐步应用,数据隐私、安全攻击门槛降低、生成式内容滥用、AI内生安全不 足等风险正逐渐从理论走向实际。对于正在引入和使用AI技术的企业,建议做好远期部署准备,加速 内部安全制度、流程、检测及防御技术 ...
江西人在AI领域的逆袭,从被拒95次到估值10亿
Sou Hu Cai Jing· 2025-05-26 06:27
"2008 年冬天,我们四个人挤在中关村 10 平米的隔断房里,用 2500 元启动资金开发虫洞语音助手。那时候连像样的办公桌椅都没有,拆 纸箱当桌子用。" 回忆起 17 年前的创业起点,图灵机器人创始人俞志晨的眼神依然闪烁着光芒。 这个从江西上饶走出的数学天才,用 17 年时间将一个 "让机器理解人类" 的朴素梦想,变成了服务 60 万开发者、累计响应 1462 亿次对话 的 AI 帝国。 他的故事,是中国 AI 创业者在技术与市场夹缝中突围的缩影。 数学天才的 "反骨"从学霸到创业愣头青 1985 年,俞志晨出生在江西上饶一个普通教师家庭。这个从小泡在数学竞赛里的男孩,高二就斩获全国数学联赛一等奖,被保送至北京 交通大学应用数学系。 在导师贺仲雄教授门下,他接触到模糊数学、人工智能等前沿领域,本科毕业设计就发表了两篇 SCI 论文。 2007 年毕业时,这个天之骄子却做出惊人之举 —— 放弃保送中科院的机会,选择创业。"在实验室做研究固然好,但我更想看看数学能 如何改变真实世界。" 这个决定让他的人生轨迹彻底转向。 创业第一站是手机端应用。2008 年,俞志晨带着三个同学租下中关村一间 10 平米的隔断房 ...
毕马威发布《全球人工智能信任、态度与应用调查报告》
Zhong Zheng Wang· 2025-05-13 13:43
调查显示,新兴经济体的民众自评AI素养(64%)和培训覆盖率(50%)均高于发达经济体(分别为46%和 32%)。更为重要的是,新兴经济体的民众感受到的AI实际效益更为显著(82%),而发达经济体的比例为 65%。 毕马威中国数字化赋能及人工智能主管合伙人张庆杰认为,未来,AI的影响力将深入到各个领域,渗 透至社会的每一个角落。AI在驱动更高层次的智能化、促进跨行业间协作的同时,也应回归以人为 本,提升人的潜能,建立伦理和安全保障,塑造"人机共生"的新文明形态。 对此,毕马威全球人工智能主管大卫.罗兰兹表示,公众对AI系统的可信性要求已成为技术转化的先决 条件。AI的可持续发展必须建立在信任基础之上,各类组织在构建"可信AI"生态中承担着关键角色,需 要以主动治理赢得利益相关方的信任。毕马威独创的"可信AI"评估体系,正是要将抽象的信任价值转化 为可量化、可验证的治理标准。 值得关注的是,调查报告显示,与发达经济体相比,新兴经济体的民众在工作和生活中对人工智能的采 用率更高,对AI的信任度和接受度也更强,并且对AI的使用前景感到乐观。 中证网报中证网讯(记者倪铭娅)中国证券报记者5月13日获悉,近日,毕马威发 ...