scaling

Search documents
李建忠:大模型技术创新驱动的 AI 生态和应用演进
AI科技大本营· 2025-04-24 03:39
【导读】历经八年 AI 浪潮,从感知到生成,再到智能体时代,人工智能正以惊人速度演进。CSDN 高级副总裁、Boolan 首席技术专家李建忠,在 2025 全 球机器学习技术大会上,绘制了一幅宏大的 AI 发展蓝图,并创造性地将其与生物智能演化史进行对比,揭示了"语言"在智能跃迁中的核心地位。跟随李建 忠的思考,洞见 AI 的过去、现在与激动人心的未来。 作者 | 李建忠 出品丨AI 科技大本营(ID:rgznai100) 大家好!回想起我在 2017 年创办全球机器学习技术大会( ML-Summit ),在各位的支持下一起陪着 AI 一路走了八个年头,非常感慨。八年来,整个 人工智能领域也发生了波澜壮阔的变化。接下来我想和大家分享一下我对大模型最新发展的一些研究和思考。 我把 AI 的发展阶段和地球上从生物智能到人类智能的发展阶段做了一个对比,发现一些非常有意思的规律。大家首先来看 AI 发展的四个阶段。 第一阶段: 1940 年代开启人工智能的元年, 整个人工智能从 1940 年代图灵提出计算机理论模型和神经网络的初始构想,到 1956 年达特茅斯会议首 次提出人工智能,此后人工智能进入符号主义、行为主义 ...
深度|微软CTO最新访谈: 我不相信通用Agent,未来是成千上万Agent协作的时代,聊天界面只是过渡的交互模式
Z Finance· 2025-04-19 06:31
Core Insights - The conversation emphasizes the importance of sustainable value in the next generation of AI, highlighting the confusion and uncertainty that often accompany major technological shifts [3][4] - Kevin Scott argues that the current era is the best time for entrepreneurs, advocating for active exploration and product development rather than passive observation [5] - The discussion also touches on the balance of value creation between startups and established companies like Microsoft, suggesting that both can benefit from new AI capabilities [6][7] Group 1: AI Value and Product Development - Kevin Scott believes that while models are valuable, their worth is realized only when connected to user needs through products [6] - The conversation stresses that product quality is paramount, and that successful exploration requires rapid iteration and responsiveness to data and feedback [5][6] - The scaling law in AI is not seen as having a limit currently, with Scott asserting that AI capabilities will continue to expand [8] Group 2: Data and Efficiency - The importance of high-quality data is highlighted, with synthetic data becoming increasingly significant in model training [9][10] - There is a noted gap in the ability to evaluate the impact of specific data on model performance, indicating a need for better assessment tools [9][10] Group 3: Future of AI Agents - The future of AI agents is discussed, with expectations for improved memory and task execution capabilities, allowing them to handle more complex tasks autonomously [21][22] - The interaction model between humans and agents is expected to evolve, moving towards more asynchronous operations [22] Group 4: Industry Dynamics and Trends - The conversation reflects on the dual existence of open-source and closed-source solutions in AI, suggesting that both will coexist and serve different needs [15] - The role of engineers and product managers is expected to change, with a greater emphasis on specialization and collaboration with AI agents [18][19] Group 5: AI's Impact on Technical Debt - Kevin Scott expresses optimism that AI can help mitigate technical debt, transforming it from a zero-sum problem to a non-zero-sum opportunity [31] - The potential for AI to accelerate product development and reduce the burdens of technical debt is seen as a significant advantage [30][31]
黄仁勋「组局」,具身智能的核心玩家们聊了聊人形机器人的落地与未来
Founder Park· 2025-04-16 12:56
文章转载自 「 Linguista」 今年的 GTC 大会,英伟达发布了通用机器人模型 GR00T N1,老黄特别提到未来重点关注的趋势是「Physical AI」(物理 AI)。 不仅如此,老黄还把当下机器人领域的核心玩家都喊了过来,针对人形机器人领域当下的技术路径、数据问题以及通用模型和通用机器人等问题进行了深 入探讨,有不少很有价值的观点。 嘉宾阵容很强大,1X、Skild AI、Agility Robotics、Boston Dynamics……堪称具身智能领域的「华山论剑」。 嘉宾介绍: TLDR: Founder Park 正在搭建开发者社群,邀请积极尝试、测试新模型、新技术的开发者、创业者们加入,请扫码详细填写你的产品/项目信息,通过审核 后工作人员会拉你入群~ Bernt Børnich,人形机器人创企 1X 的创始人兼 CEO。1X 致力于构建完全自主的人形机器人。此前曾推出专注于家庭场景的人形机器人 NEO。 Deepak Pathak,具身智能创企 Skild AI 的 CEO 兼联创。Skild AI 致力于打造机器人通用「大脑」。此前曾推出曾推出可扩展的机器人基础模型「Skild B ...
OpenAI自曝GPT-4.5训练内幕:数据效率是关键,预训练仍然有用
Founder Park· 2025-04-14 11:34
智能产业新媒体!智东西专注报道人工智能主导的前沿技术发展,和技术应用带来的千行百业产业升级。聚焦智能变革,服务产业升级。 在 GPT-4.5 发布 1 个多月后,Sam Altman 与 GPT-4.5 的 3 位核心技术人员进行了一场 45 分钟的高信息量对谈,首次披露了这款模型 研发耗时严重超 期 、 计算集群频繁故障 、 提升路径难以预测 等诸多不为人知的细节。 对于今后的模型训练范式,乃至如何重新理解 Scaling Law、以及数据效果,都有不少启发。 参与本次对谈的 3 位 OpenAI 员工分别为 Alex Paino(负责 GPT-4.5 的预训练机器学习算法)、Amin Tootoonchian(OpenAI 首席系统架构师)与 Daniel Selsam(研究数据效率与算法)。 以下文章来源于智东西 ,作者陈骏达 陈家阳 智东西 . TLDR Founder Park 正在搭建开发者社群,邀请积极尝试、测试新模型、新技术的开发者、创业者们加入,请扫码详细填写你的产品/项目信息,通过审核后 工作人员会拉你入群~ 进群之后,你有机会得到: 01 GPT-4.5两年前已启动, 项目耗时远超预期 ...
一堂「强化学习」大师课 | 42章经
42章经· 2025-04-13 12:02
吴翼: RL 是机器学习这个大概念下一类比较特殊的问题。 曲凯: 今天我们请来了国内强化学习 (RL) 领域的专家吴翼,吴翼目前是清华大学交叉信息研究院 助理教授,他曾经在 OpenAI 工作过,算是国内最早研究强化学习的人之一,我们今天就争取一 起把 RL 这个话题给大家聊透。 首先吴翼能不能简单解释一下,到底什么是 RL? 传统机器学习的本质是记住大量标注过正确答案的数据对。 举个例子,如果你想让机器学习能分辨一张图片是猫还是狗,就要先收集 10000 张猫的照片和 10000 张狗的照片,并且给每一张都做好标注,让模型背下来。 上一波人工智能四小龙的浪潮其实都以这套框架为基础,主要应用就是人脸识别、指纹识别、图 像识别等分类问题。 这类问题有两个特点,一是单一步骤,比如只要完成图片分辨就结束了;二是有明确的标准答 案。 但 RL 很不一样。 RL 最早是用来打游戏的,而游戏的特点和分类问题有两大区别。 第一,游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏,发球、接球、回 球,每一个动作都是非标的,而且不同的选择会直接影响最终的结果。 第二,赢得一场游戏的方式可能有上万种,并没有唯一的标准答 ...
一堂「强化学习」大师课 | 42章经
42章经· 2025-04-13 12:01
曲凯: 今天我们请来了国内强化学习 (RL) 领域的专家吴翼,吴翼目前是清华大学交叉信息研究院助理教授,他曾经在 OpenAI 工作过,算是国内最早研究强化学 习的人之一,我们今天就争取一起把 RL 这个话题给大家聊透。 首先吴翼能不能简单解释一下,到底什么是 RL? 因此,RL 其实更通用一些,它的逻辑和我们在真实生活中解决问题的逻辑非常接近。比如我要去美国出差,只要最后能顺利往返,中间怎么去机场、选什么航 司、具体坐哪个航班都是开放的。 但 RL 很不一样。 RL 最早是用来打游戏的,而游戏的特点和分类问题有两大区别。 第一,游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏,发球、接球、回球,每一个动作都是非标的,而且不同的选择会直接影响最终的结 果。 第二,赢得一场游戏的方式可能有上万种,并没有唯一的标准答案。 所以 RL 是一套用于解决多步决策问题的算法框架。它要解决的问题没有标准答案,每一步的具体决策也不受约束,但当完成所有决策后,会有一个反馈机制来评 判它最终做得好还是不好。 吴翼: RL 是机器学习这个大概念下一类比较特殊的问题。 传统机器学习的本质是记住大量标注过正确答案的数据对。 ...
AI Agent 摩尔定律:每7个月能力翻倍,带来软件智能大爆炸
海外独角兽· 2025-04-11 11:03
AI Agent 领域也存在 scaling law,甚至还在加速。 2022 年 ChatGPT 刚发布时能够实现的代码任务差不多等同于人类耗时 30s 的任务,到今天, AI Agent 已经能够自主完成需要人类花费一个小时的 coding 任务。"任务长度"是一个相当直观地测量 AI Agent 能力变化的标准。 编译:haozhen 编辑:Siqi AI 独立研究机构 META 的数据分析发现,Agent 能够完成的任务长度正以指数级增长,大约每 7 个 月翻一倍,预计 2029 年 Agent 能够完成时长为 1 个工作月的任务。 有意思的是,最近这一趋势甚至还在加速,2024-2025 年 Agent 能完成的任务长度约每 4 个月翻一 倍,如果这种更快的趋势持续下去,Agent 可能在 2027 年就能完成长达一个月的任务。 本文是对 META、Forethought 和 AI Digest 研究对于 agent scaling law 的整理编译。AI 研究人员们认 为,AI scaling law 的终局是 AI agent 自主开发 AI agent,到了那个时候我们就会进入软件智能爆炸时 ...
VLA是特斯拉V13的对手吗?
36氪· 2025-04-08 11:05
Core Viewpoint - The entry of Tesla's Full Self-Driving (FSD) technology into the Chinese market has created a sense of urgency and anxiety among domestic autonomous driving companies, as they fear the potential competitive threat posed by Tesla's advanced AI capabilities [1][5][24]. Summary by Sections Tesla FSD Performance - Tesla's FSD has shown a mixed performance in China, with instances of both impressive driving capabilities and significant errors, highlighting the challenges of adapting to the complex driving environment in China [2][4]. - The underlying AI technology of Tesla is robust, allowing for smooth driving experiences in regular conditions, but it struggles with unique Chinese traffic scenarios due to a lack of localized data training [4][5]. VLA Model Introduction - The VLA model has emerged as a promising solution to the shortcomings of the end-to-end model, integrating visual, linguistic, and action capabilities to enhance vehicle understanding of complex driving situations [8][9]. - VLA's ability to interpret traffic signs and pedestrian intentions positions it as a potential game-changer in the autonomous driving landscape, especially if it can effectively address the unique challenges of Chinese roads [8][12]. Competitive Landscape - Four key players in the domestic market are actively developing VLA technology: Li Auto, Chery, Geely, and Yuanrong Qixing, each with distinct strategies and timelines for implementation [15][16]. - Li Auto's "MindVLA" aims for high accuracy in complex scenarios but faces challenges in managing dual systems, while Chery collaborates with major tech firms to enhance its capabilities [18][19]. - Yuanrong Qixing stands out for its aggressive development and production of VLA technology, positioning itself ahead of competitors in the market [19][21]. Future Outlook - The competition in the autonomous driving sector is shifting from engineering capabilities to the foundational AI model capabilities, with the upcoming deployment of VLA-equipped vehicles expected to provide clarity on the competitive dynamics between Tesla's FSD and domestic technologies [24][25].
智谱发的「干活Agent」,不用邀请码
36氪· 2025-04-01 13:52
以下文章来源于智能涌现 ,作者周鑫雨 智能涌现 . 直击AI新时代下涌现的产业革命。36氪旗下账号。 CEO张鹏: "我们不属To B赛道,拒被标签化。 " 文 | 周鑫雨 编辑 | 苏建勋 来源| 智能涌现 (ID:AIEmergence) 封面来源 | 视觉中国 交出后DeepSeek R1时代的答卷,对如今的六小虎而言,显得尤为重要。 DeepSeek R1和Manus,已经分别在推理模型和AI Agent领域炸了场。对于后来者而言,跟随是最为保守的路径。比如,百度发布 了推理模型文心X1,腾讯上线了混元深度思考模型T1。 在3月31日的OpenDay上,在国内资本市场拿钱到手软的智谱,开年交出的答卷 则是R1和 Manus的"plus版本"——具有深度思考 能力的Agent产品,"AutoGLM 沉思(以下简称'沉思')",已经免费上线。 | ·· 智濟 AutoGLM in | AutoGLM 安卓 7 | AutoGLM Web 7 | 加入社群 | 立即体验 | | --- | --- | --- | --- | --- | | AutoGLM 沉思 | | | | | | AutoGLM沉思是 ...
从DeepSeek R1的复现看深度思考模型的未来|ML-Summit 2025
AI科技大本营· 2025-03-31 06:55
备受瞩目的 2025 全球机器学习技术大会(ML Summit 2025)将于 4 月 18-19 日在上海虹桥西郊庄园丽笙大酒店召开。本次盛会由 CSDN & Boolan 联合主办,汇聚了超 50 位来自学术界和工业界顶尖专家,共同探讨智能体、联邦学习、多模态大模型等热门 AI 技术实践。 作为全球机器学习技术大会的老朋友,新浪微博首席科学家及 AI 研发部负责人张俊林将带来《从 DeepSeek R1 的复现看深度思考模型的未来》的精 彩分享。 张俊林作为「大模型技术拆解得最通透的实战派」,在 2024 年的机器学习技术大会上,他对 Gemini 多模态架构、OpenAI o1 技术的硬核拆解,让 开发者直呼"终于有人讲透技术本质"。 系统梳理技术脉络: 回顾 DeepSeek R1 开源后的各类复现研究,涵盖 SFT 阶段的轻量适配(如 S1)与 RL 阶段的创新实践。 深度解析训练范式: 重点剖析其核心的两阶段训练模式——如何通过冷启动微调结合多领域数据优化进行 SFT,以及如何运用 GRPO 强化学习 与全场景对齐实现模型"深度思考"能力的跃迁。 探讨关键技术问题: 尝试解答一系列备受关注的核心问 ...