Workflow
Scaling Law
icon
Search documents
肖仰华教授:具身智能距离“涌现”还有多远?
3 6 Ke· 2025-06-27 11:30
以生成式AI为代表的新技术浪潮日新月异,正带来一场深刻的技术、商业与社会变革,推动人类社会 从信息社会向智能社会转变。全世界热切期待AI到来的同时,也非常关心人工智能将带来哪些新机 遇、新挑战。 为此,我们发起了一项《AI & Society 百人百问》研讨,广泛邀请AI技术大咖、AI独角兽创始人、AI投 资人,以及社会学家、心理学家、国际关系专家、科幻作家等,用多元视角,深入研讨人工智能技术引 发的广泛影响,发掘AI时代的共识和非共识,共同推动人工智能始终朝着"助人发展,与人为善"的方向 可持续发展。 4.我们业界一直有一个基本的观点就是模型算法或架构是模型的下限,而数据决定模型的上 限。从行业来看,央国企等大甲方的主要职责是要能够把自己行业数据整理好和清洗好,这 是发展行业AI的关键。 5.具身智能ToC端的应用的核心是感性能力,如果将来机器人真的要走进千家万户,它必须 要能够跟我们共情,能够理解我的情感诉求,才有可能真正在 ToC 应用当中发挥作用。 6.某种程度上,我们今天采集的数据离具身智能涌现出泛化性所需达到的临界点,还相差非 常大的数量级,相较于语言大模型可能不止两三个数量级的差别。促进具身智能 ...
肖仰华教授:具身智能距离“涌现”还有多远?|Al&Society百人百问
腾讯研究院· 2025-06-27 06:59
徐一平 腾讯研究院 高级研究员 王强 腾讯研究院 资深专家 以生成式AI为代表的新技术浪潮日新月异,正带来一场深刻的技术、商业与社会变革,推动人类社会从 信息社会向智能社会转变。全世界热切期待AI到来的同时,也非常关心人工智能将带来哪些新机遇、新 挑战。 为此,我们发起了一项 《AI & Society 百人百问》 研讨,广泛邀请AI技术大咖、AI独角兽创始人、AI 投资人,以及社会学家、心理学家、国际关系专家、科幻作家等,用多元视角,深入研讨人工智能技术 引发的广泛影响,发掘AI时代的共识和非共识,共同推动人工智能始终朝着"助人发展,与人为善"的方 向可持续发展。 本期,我们非常荣幸地邀请到肖仰华老师,为我们开启一次AI的思想远航。 复旦大学计算与智能创新学院教授、博导,上海科学智能研究院AI科学家,上海市数据科学重点实验室主任。长期从事大数据、 认知智能研究。 曾荣获ICDE2024十年影响力论文奖、ACL2023杰出论文奖。发表 CCF-A 、B 类等论文 300 余篇。出版学术专 著与教材三部。曾获华为、阿里、美团等机构的科研奖项。担任 Applied Intelligence 等多个国际期刊副主编或 ...
通往 AGI 之路的苦涩教训
AI科技大本营· 2025-06-26 11:10
" 未来 5 到 10 年内,我们有 50% 的概率实现通用人工智能(AGI)。 " Google DeepMind CEO、 诺贝尔化学奖得主 Demis Hassabis 在本月初的一个采访中给出了惊人的预测。 AI 浪潮正以前所未有的速度加速进行中,在这条被追捧、被加速、甚至被神化 的 AGI 之路上,我们是否也踩过无数"看似正确却最终失败"的岔路? 早在 2019 年,"强化学习之父"Richard Sutton 发表了著名的《The Bitter Lesson》(苦涩的教训)一文,他指出:过去 70 年,AI 研究最大的弯路 就是我们太依赖人类已有的知识与直觉,而历史一再表明,真正能带来突破的,反而是那些"摒弃人类经验、依靠计算规模"的方法。 在 Sutton 看来,算力与数据才是推动 AI 向前的根本引擎,而不是人类引以为傲的"智慧"本身。 这句话听起来也许刺耳,却道出了一个时代的真相——在这场智能革命中,许多我们曾深信不疑的"路径"与"经验",正在变成新纪元的障碍。 这也正是我们本期《万有引力》直播对话的主题——「 通往 AGI 之路的苦涩教训」 。 6 月 27 日 12:00-14:00,C ...
中信证券:系统级算力有望成为AI发展的下一站 建议关注国内产业链相关公司
智通财经网· 2025-06-26 00:29
底层基础设施的通用性就是为了前瞻性地应对未来的模型发展。当前AI产业发展迅速,Scaling law在后 训练、在线推理等阶段快速发展。训练端,模型架构持续创新迭代,有望进一步强化训练侧scaling law 的延续,如阿里巴巴Qwen团队与浙江大学团队提出的Parallel Scaling、腾讯混元团队采用Transformer、 Mamba混合架构训练的TurboS都取得了优秀的性能表现。推理端,在MoE专家网络架构成为主流后, 如何通过硬件部署实现更高的吞吐量和更低的延时成为焦点。采用类似推理集群的形式未来有望成为主 流,计算节点有望通过提升计算密度满足推理需求。系统级算力料将成为下一代AI算力基础设施。 系统级算力需要系统级能力。 芯片层面,算力集群中涉及AI加速芯片、CPU芯片、Switch互连芯片、DPU数据处理芯片等,受限制于 制程,国产AI加速芯片在峰值算力能力领域上相较于海外旗舰产品仍有差距,软件生态上亦因产业发 展时长而相对落后,单芯片能力的竞争并无直接优势。互连层面,传统PCIe与英伟达NVLink等差距较 大,NVLink5.0提供1.8TB/s双向带宽,超传统PCIe方案的十倍,国产 ...
Kimi还能找到月之亮面吗?
3 6 Ke· 2025-06-25 08:08
现在很少有人提Kimi了。 取而代之的是夸克、腾讯元宝、阿里的Qwen……朋友圈也不再刷屏"Kimi能一次性输出20万字",而是 讨论谁家模型能生成视频、效果够不够好,谁的Agent能自动写代码、准确率高不高。 挺有意思。一年多前,Kimi还站在聚光灯下,仿佛在向世界宣誓:我们,才是下一波颠覆者。如今这 颗明星,已经不再那么耀眼。 01 那问题来了,为什么当初资本会疯狂追捧它?其实答案一直摆在明面上:技术稀缺性。 要知道,那时整个AI圈还在为几千字的文档处理发愁,Kimi却突然宣布能处理百万级文本,对行业来 说几乎是颠覆性。 这背后技术挑战非常高。不仅要保证信息无损压缩,还要解决多轮对话中的记忆连贯性和衰减问题。再 加上中文数据本身就很抽象,比如古籍、专业文献,都是模型难以复制的内容。 所以从资本角度看,Kimi早期的技术优势,某种程度上就像一种"非对称竞争力"。 你想,当时OpenAI也没做到一次性输出这么多字,结果被Kimi卷了一把。"长文本"成了它的技术标 签,也一下子撑起了30亿美元的估值。 当然,除技术之外,杨植麟的光环效应也非常明显。他的履历几乎为资本量身定制的"完美男大主"。 清华出身,卡内基梅 ...
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
AI科技大本营· 2025-06-25 06:49
Core Viewpoint - The article discusses the rapid rise of large model technology globally, emphasizing Alibaba's Tongyi Qwen model's international success and its strategic focus on multilingual capabilities to cater to a global audience [2][3]. Group 1: Multilingual Strategy - Tongyi Qwen supports 119 languages, with a core strategy prioritizing multilingual data optimization from the outset to ensure equitable access to AI technology for global users [2][3]. - The team has developed a complex cultural annotation system to address the challenges of multilingual safety and cultural alignment, covering thousands of detailed categories to ensure compliance and effectiveness across different regions [3][12]. - The current industry faces a "multilingual reasoning challenge," where models often mix languages during processing, leading to inconsistencies. The team has adopted a compromise strategy to use native languages for strong languages and English for low-resource languages to maintain output stability [3][16]. Group 2: Scaling Law and Knowledge Density - The article highlights the importance of scaling model size and data volume while also focusing on increasing "knowledge density," which refers to the concentration of useful knowledge within the training data [19][20]. - Recent trends show that smaller models with higher knowledge density can outperform larger models, indicating a shift in focus from merely increasing data volume to refining data quality [20][21]. - The team is exploring data synthesis methods to enhance training data quality, which includes generating new knowledge and filtering redundant data to improve knowledge density [22][23]. Group 3: AI Integration and Future Prospects - The integration of AI models into various devices, such as smart glasses and earphones, is a growing trend, with the company planning to release smaller model versions optimized for these applications [28][30]. - The article discusses the potential for AI to enhance user experiences in everyday tasks, such as real-time translation and contextual assistance, although challenges remain in achieving seamless integration [30][32]. - The company acknowledges the importance of balancing the use of synthetic data with human-generated content to maintain diversity and avoid narrowing the model's knowledge base [25][26].
从Sam Altman的观点看AI创业机会在哪
Hu Xiu· 2025-06-24 12:22
创业者怎么更有可能成功? Sam Altman和YC创始人的那场对话里,给了一些关键信息,他说:剧烈变化,总是给新公司带来最多 机会。 这句话听起来简单,背后藏着一个很深刻的逻辑: 当整个行业、整个社会都处在剧变期时,原来的规则会被打破,大玩家可能变得迟钝;反应不过来,小 团队、新创公司,更有机会快速切入,做出别人没做过的事。 变化体现在哪儿呢?首先,AI技术正在发生质的飞跃。 过去几年,AI发展不是线性的进步,而是指数级的突破。像AGI(通用人工智能)和HI(高智能水平的 AI)这些概念,十年前听起来是科幻小说里的东西,但现在,它们正一步步走向现实。 OpenAI是典型的例子。 2015年它刚成立时,很多人觉得这个目标太疯狂了,谁会相信一台机器能像人一样思考和创造?可到了 今天,GPT系列模型已经成了全球第五大网站,每天服务上亿用户。 技术拐点已经到来。就像互联网刚出现的时候,谁能想到后来会诞生亚马逊、谷歌、Facebook这些巨 头?现在的AI,就是当年的互联网。 Sam说,在稳定时期,市场格局是固定的。大公司有资源、有渠道、有品牌,新创公司很难突围。但在 技术剧变期就不一样了。 举个例子: 一 以前做语 ...
Kimi没有梦想
Hu Xiu· 2025-06-24 05:32
本文来自微信公众号:葬AI,作者:葬愛咸鱼,题图来自:AI生成 AI产品天天发布,大模型版本月月更新。评测与PPT太多,邀请码并Agent齐飞。然而,除了AI自媒体 无人关心。 还有无人记得,杭州六小龙之前,上一代版本神是AI六小虎。 有鉴于此,我准备挨个锐评一遍AI六小虎,整点真实。 今天是Kimi。 杨圣把长文本比作AI的"新的计算机内存",认为是实现AGI个性化互动的关键 ,是"登月第一步"。 成立不到一年,2023年内,公司完成了两轮融资,金额近20亿人民币。 真正将FOMO情绪推向高潮的,是阿里的入局。2024年初,阿里以近8亿美元巨资下注月之暗面,让估 值大幅飙升到30亿美金。 至此,在FOMO情绪的催化下,万千宠爱的Kimi登上了舞台中心。 Kimi最近的动作是在做Agent。 曾经独领风骚的杨圣,如今跟风都跟不上热乎的了。 再往前,Kimi还尝试过社区,一家大模型公司,在主营业务明显落后竞争对手、用户增长遇到瓶颈, 接二连三开拓新业务。 就像王小川做医疗大模型,主业没做明白,想靠垂直应用来实现所谓的"弯道超车"。 Kimi是一个FOMO、金钱与欲望交织在一起的老故事。 从后往前看,"FOMO" ...
OpenAI路线遭质疑,Meta研究员:根本无法构建超级智能
3 6 Ke· 2025-06-20 12:00
超级智能(Superintelligence)是处于 AGI 之上、甚至通用能力超过人类的更高维 AI 发展方向。 学术头条在不改变原文大意的情况下,对整体内容做了精编,如下: 然而,在 Meta AI 研究员 Jack Morris 看来,Altman 提到超级智能的"工程问题",在于"构建大量适用于不同任务的 RL 环境,并训练 LLM 同时处理所有 这些任务"。他认为,这一由 OpenAI 等公司当前大力推进的路径——基于 LLM 的 RL——根本无法构建超级智能。 "我谦卑的预测是:LLM 将继续在训练分布内的任务上变得更好。随着我们收集更多类型的任务并进行训练,这将产生在广泛任务上越来越有用的 LLM。但它不会成为一个单一的超级智能模型。" Morris 在一篇题为"Superintelligence, from First Principles"的博客中,探讨了构建超级智能的 3 种可能方式:完全由监督学习(SL)、来自人类验证者 的强化学习(RL)、来自自动验证器的 RL。 扎克伯格不惜以一亿美金年薪挖角 OpenAI 等竞争对手的动作背后,便暴露了 Meta 等头部玩家追求"超级智能"的巨大野 ...
天工不止造物,也能修bug:Skywork-SWE给代码智能体补上软件工程课
机器之心· 2025-06-20 02:22
机器之心报道 编辑:Panda 400 多年前,宋应星著成《天工开物》。这是一部写给匠人、也写给未来的书。它让人相信:技术不是死物,而是人与世界持续互动的方式。 如今,代码系统早已成为现代文明的骨架。它们运行在日常软件、银行服务、交通调度等各式系统中,也支撑着我们所依赖的 AI 算法本身。但和古代器物一样, 再精妙的程序也难免出现 bug—— 有些是逻辑失误,有些是环境变迁,有些甚至源于协作失控。比如,就在前几天,AWS、谷歌云、Azure 和 Cloudflare 都发生了 中断,连带着 ChatGPT 和 Cursor 等热门 AI 应用也一并短暂失联;而这一事故的原因可能是一次错误的自动配额更新导致谷歌的 API 管理系统出现了故障。 同时,bug 修复也是软件工程中最基础,却也是最复杂、最消耗人力的任务之一。特别是在真实的 GitHub 项目中,修一个 bug 并不是「找到一行错字那么简 单」,它常常需要: 那么,我们能否使用 AI 智能体来完成这些任务呢? 当然可以!但我们需要的绝不是传统的用于解决单独编程任务的 AI 编程模型,而是需要像人类开发者一样能够理解历史上下文、进行多轮推理、在模糊与不确 ...