scaling law

Search documents
肖仰华教授:具身智能距离“涌现”还有多远?
3 6 Ke· 2025-06-27 11:30
以生成式AI为代表的新技术浪潮日新月异,正带来一场深刻的技术、商业与社会变革,推动人类社会 从信息社会向智能社会转变。全世界热切期待AI到来的同时,也非常关心人工智能将带来哪些新机 遇、新挑战。 为此,我们发起了一项《AI & Society 百人百问》研讨,广泛邀请AI技术大咖、AI独角兽创始人、AI投 资人,以及社会学家、心理学家、国际关系专家、科幻作家等,用多元视角,深入研讨人工智能技术引 发的广泛影响,发掘AI时代的共识和非共识,共同推动人工智能始终朝着"助人发展,与人为善"的方向 可持续发展。 4.我们业界一直有一个基本的观点就是模型算法或架构是模型的下限,而数据决定模型的上 限。从行业来看,央国企等大甲方的主要职责是要能够把自己行业数据整理好和清洗好,这 是发展行业AI的关键。 5.具身智能ToC端的应用的核心是感性能力,如果将来机器人真的要走进千家万户,它必须 要能够跟我们共情,能够理解我的情感诉求,才有可能真正在 ToC 应用当中发挥作用。 6.某种程度上,我们今天采集的数据离具身智能涌现出泛化性所需达到的临界点,还相差非 常大的数量级,相较于语言大模型可能不止两三个数量级的差别。促进具身智能 ...
肖仰华教授:具身智能距离“涌现”还有多远?|Al&Society百人百问
腾讯研究院· 2025-06-27 06:59
徐一平 腾讯研究院 高级研究员 王强 腾讯研究院 资深专家 以生成式AI为代表的新技术浪潮日新月异,正带来一场深刻的技术、商业与社会变革,推动人类社会从 信息社会向智能社会转变。全世界热切期待AI到来的同时,也非常关心人工智能将带来哪些新机遇、新 挑战。 为此,我们发起了一项 《AI & Society 百人百问》 研讨,广泛邀请AI技术大咖、AI独角兽创始人、AI 投资人,以及社会学家、心理学家、国际关系专家、科幻作家等,用多元视角,深入研讨人工智能技术 引发的广泛影响,发掘AI时代的共识和非共识,共同推动人工智能始终朝着"助人发展,与人为善"的方 向可持续发展。 本期,我们非常荣幸地邀请到肖仰华老师,为我们开启一次AI的思想远航。 复旦大学计算与智能创新学院教授、博导,上海科学智能研究院AI科学家,上海市数据科学重点实验室主任。长期从事大数据、 认知智能研究。 曾荣获ICDE2024十年影响力论文奖、ACL2023杰出论文奖。发表 CCF-A 、B 类等论文 300 余篇。出版学术专 著与教材三部。曾获华为、阿里、美团等机构的科研奖项。担任 Applied Intelligence 等多个国际期刊副主编或 ...
通往 AGI 之路的苦涩教训
AI科技大本营· 2025-06-26 11:10
" 未来 5 到 10 年内,我们有 50% 的概率实现通用人工智能(AGI)。 " Google DeepMind CEO、 诺贝尔化学奖得主 Demis Hassabis 在本月初的一个采访中给出了惊人的预测。 AI 浪潮正以前所未有的速度加速进行中,在这条被追捧、被加速、甚至被神化 的 AGI 之路上,我们是否也踩过无数"看似正确却最终失败"的岔路? 早在 2019 年,"强化学习之父"Richard Sutton 发表了著名的《The Bitter Lesson》(苦涩的教训)一文,他指出:过去 70 年,AI 研究最大的弯路 就是我们太依赖人类已有的知识与直觉,而历史一再表明,真正能带来突破的,反而是那些"摒弃人类经验、依靠计算规模"的方法。 在 Sutton 看来,算力与数据才是推动 AI 向前的根本引擎,而不是人类引以为傲的"智慧"本身。 这句话听起来也许刺耳,却道出了一个时代的真相——在这场智能革命中,许多我们曾深信不疑的"路径"与"经验",正在变成新纪元的障碍。 这也正是我们本期《万有引力》直播对话的主题——「 通往 AGI 之路的苦涩教训」 。 6 月 27 日 12:00-14:00,C ...
中信证券:系统级算力有望成为AI发展的下一站 建议关注国内产业链相关公司
智通财经网· 2025-06-26 00:29
底层基础设施的通用性就是为了前瞻性地应对未来的模型发展。当前AI产业发展迅速,Scaling law在后 训练、在线推理等阶段快速发展。训练端,模型架构持续创新迭代,有望进一步强化训练侧scaling law 的延续,如阿里巴巴Qwen团队与浙江大学团队提出的Parallel Scaling、腾讯混元团队采用Transformer、 Mamba混合架构训练的TurboS都取得了优秀的性能表现。推理端,在MoE专家网络架构成为主流后, 如何通过硬件部署实现更高的吞吐量和更低的延时成为焦点。采用类似推理集群的形式未来有望成为主 流,计算节点有望通过提升计算密度满足推理需求。系统级算力料将成为下一代AI算力基础设施。 系统级算力需要系统级能力。 芯片层面,算力集群中涉及AI加速芯片、CPU芯片、Switch互连芯片、DPU数据处理芯片等,受限制于 制程,国产AI加速芯片在峰值算力能力领域上相较于海外旗舰产品仍有差距,软件生态上亦因产业发 展时长而相对落后,单芯片能力的竞争并无直接优势。互连层面,传统PCIe与英伟达NVLink等差距较 大,NVLink5.0提供1.8TB/s双向带宽,超传统PCIe方案的十倍,国产 ...
Kimi还能找到月之亮面吗?
3 6 Ke· 2025-06-25 08:08
Core Insights - Kimi, once a prominent player in the AI space, has seen a decline in attention as newer models from companies like Quark, Tencent, and Alibaba gain traction [1][2] - The initial hype around Kimi was driven by its technological scarcity, particularly its long-text processing capabilities, which were unmatched at the time [2][3] - Kimi's early valuation of $3 billion was supported by its unique technology, the founder's impressive background, and the capital's anxiety to find a domestic alternative to leading AI models [4][5] Technology and Market Position - Kimi's long-text processing ability, which expanded from 200,000 to 2 million words, was a significant technological breakthrough that positioned it as a leader in the AI field [2][3] - The founder, Yang Zhilin, had a strong academic and entrepreneurial background, which enhanced investor confidence in Kimi's potential [3][4] - The competitive landscape was characterized by a rush to find alternatives to ChatGPT, leading to Kimi's rapid user acquisition through aggressive marketing strategies [4][5] Financial Strategy and User Acquisition - Kimi faced challenges in managing its newfound capital, leading to excessive spending on user acquisition, with monthly advertising costs peaking at 220 million RMB [6][7] - Despite a significant increase in daily active users (DAU) from 508,300 to 5,897,000, this growth was primarily driven by financial investment rather than product quality [8][9] - The pressure from investors to demonstrate commercial viability led Kimi to prioritize user numbers over technological development, resulting in a loss of strategic direction [8][9] Challenges and Strategic Missteps - Kimi's marketing strategy shifted focus from its core user base in academia and professional fields to entertainment sectors, diluting its brand identity [11][12] - The company struggled with maintaining its technological edge as competitors began to catch up, particularly with the emergence of open-source models [12][13] - Kimi's reliance on user growth without a solid feedback loop or data quality management led to a false sense of security regarding its market position [13] Future Opportunities - Kimi has potential avenues for recovery, including enhancing the value density of its products and focusing on deep search capabilities for specific industries [15][17] - The company could benefit from developing comprehensive tools for developers, improving its API offerings to facilitate easier integration for enterprise clients [18][19] - Emphasizing quality over quantity in user engagement and product offerings could help Kimi regain trust and market relevance [20][21] Strategic Recommendations - Kimi needs to establish a clear commercial strategy from the outset, ensuring that its products meet genuine market demands and have viable monetization paths [29][30] - The focus should shift towards building a sustainable revenue model based on user payments rather than relying on external funding for growth [31] - A strategic approach that prioritizes understanding and fulfilling real user needs will be crucial for Kimi's long-term success in the competitive AI landscape [31][32]
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
AI科技大本营· 2025-06-25 06:49
Core Viewpoint - The article discusses the rapid rise of large model technology globally, emphasizing Alibaba's Tongyi Qwen model's international success and its strategic focus on multilingual capabilities to cater to a global audience [2][3]. Group 1: Multilingual Strategy - Tongyi Qwen supports 119 languages, with a core strategy prioritizing multilingual data optimization from the outset to ensure equitable access to AI technology for global users [2][3]. - The team has developed a complex cultural annotation system to address the challenges of multilingual safety and cultural alignment, covering thousands of detailed categories to ensure compliance and effectiveness across different regions [3][12]. - The current industry faces a "multilingual reasoning challenge," where models often mix languages during processing, leading to inconsistencies. The team has adopted a compromise strategy to use native languages for strong languages and English for low-resource languages to maintain output stability [3][16]. Group 2: Scaling Law and Knowledge Density - The article highlights the importance of scaling model size and data volume while also focusing on increasing "knowledge density," which refers to the concentration of useful knowledge within the training data [19][20]. - Recent trends show that smaller models with higher knowledge density can outperform larger models, indicating a shift in focus from merely increasing data volume to refining data quality [20][21]. - The team is exploring data synthesis methods to enhance training data quality, which includes generating new knowledge and filtering redundant data to improve knowledge density [22][23]. Group 3: AI Integration and Future Prospects - The integration of AI models into various devices, such as smart glasses and earphones, is a growing trend, with the company planning to release smaller model versions optimized for these applications [28][30]. - The article discusses the potential for AI to enhance user experiences in everyday tasks, such as real-time translation and contextual assistance, although challenges remain in achieving seamless integration [30][32]. - The company acknowledges the importance of balancing the use of synthetic data with human-generated content to maintain diversity and avoid narrowing the model's knowledge base [25][26].
从Sam Altman的观点看AI创业机会在哪
Hu Xiu· 2025-06-24 12:22
创业者怎么更有可能成功? Sam Altman和YC创始人的那场对话里,给了一些关键信息,他说:剧烈变化,总是给新公司带来最多 机会。 这句话听起来简单,背后藏着一个很深刻的逻辑: 当整个行业、整个社会都处在剧变期时,原来的规则会被打破,大玩家可能变得迟钝;反应不过来,小 团队、新创公司,更有机会快速切入,做出别人没做过的事。 变化体现在哪儿呢?首先,AI技术正在发生质的飞跃。 过去几年,AI发展不是线性的进步,而是指数级的突破。像AGI(通用人工智能)和HI(高智能水平的 AI)这些概念,十年前听起来是科幻小说里的东西,但现在,它们正一步步走向现实。 OpenAI是典型的例子。 2015年它刚成立时,很多人觉得这个目标太疯狂了,谁会相信一台机器能像人一样思考和创造?可到了 今天,GPT系列模型已经成了全球第五大网站,每天服务上亿用户。 技术拐点已经到来。就像互联网刚出现的时候,谁能想到后来会诞生亚马逊、谷歌、Facebook这些巨 头?现在的AI,就是当年的互联网。 Sam说,在稳定时期,市场格局是固定的。大公司有资源、有渠道、有品牌,新创公司很难突围。但在 技术剧变期就不一样了。 举个例子: 一 以前做语 ...
Kimi没有梦想
Hu Xiu· 2025-06-24 05:32
本文来自微信公众号:葬AI,作者:葬愛咸鱼,题图来自:AI生成 AI产品天天发布,大模型版本月月更新。评测与PPT太多,邀请码并Agent齐飞。然而,除了AI自媒体 无人关心。 还有无人记得,杭州六小龙之前,上一代版本神是AI六小虎。 有鉴于此,我准备挨个锐评一遍AI六小虎,整点真实。 今天是Kimi。 杨圣把长文本比作AI的"新的计算机内存",认为是实现AGI个性化互动的关键 ,是"登月第一步"。 成立不到一年,2023年内,公司完成了两轮融资,金额近20亿人民币。 真正将FOMO情绪推向高潮的,是阿里的入局。2024年初,阿里以近8亿美元巨资下注月之暗面,让估 值大幅飙升到30亿美金。 至此,在FOMO情绪的催化下,万千宠爱的Kimi登上了舞台中心。 Kimi最近的动作是在做Agent。 曾经独领风骚的杨圣,如今跟风都跟不上热乎的了。 再往前,Kimi还尝试过社区,一家大模型公司,在主营业务明显落后竞争对手、用户增长遇到瓶颈, 接二连三开拓新业务。 就像王小川做医疗大模型,主业没做明白,想靠垂直应用来实现所谓的"弯道超车"。 Kimi是一个FOMO、金钱与欲望交织在一起的老故事。 从后往前看,"FOMO" ...
OpenAI路线遭质疑,Meta研究员:根本无法构建超级智能
3 6 Ke· 2025-06-20 12:00
超级智能(Superintelligence)是处于 AGI 之上、甚至通用能力超过人类的更高维 AI 发展方向。 学术头条在不改变原文大意的情况下,对整体内容做了精编,如下: 然而,在 Meta AI 研究员 Jack Morris 看来,Altman 提到超级智能的"工程问题",在于"构建大量适用于不同任务的 RL 环境,并训练 LLM 同时处理所有 这些任务"。他认为,这一由 OpenAI 等公司当前大力推进的路径——基于 LLM 的 RL——根本无法构建超级智能。 "我谦卑的预测是:LLM 将继续在训练分布内的任务上变得更好。随着我们收集更多类型的任务并进行训练,这将产生在广泛任务上越来越有用的 LLM。但它不会成为一个单一的超级智能模型。" Morris 在一篇题为"Superintelligence, from First Principles"的博客中,探讨了构建超级智能的 3 种可能方式:完全由监督学习(SL)、来自人类验证者 的强化学习(RL)、来自自动验证器的 RL。 扎克伯格不惜以一亿美金年薪挖角 OpenAI 等竞争对手的动作背后,便暴露了 Meta 等头部玩家追求"超级智能"的巨大野 ...
天工不止造物,也能修bug:Skywork-SWE给代码智能体补上软件工程课
机器之心· 2025-06-20 02:22
机器之心报道 编辑:Panda 400 多年前,宋应星著成《天工开物》。这是一部写给匠人、也写给未来的书。它让人相信:技术不是死物,而是人与世界持续互动的方式。 如今,代码系统早已成为现代文明的骨架。它们运行在日常软件、银行服务、交通调度等各式系统中,也支撑着我们所依赖的 AI 算法本身。但和古代器物一样, 再精妙的程序也难免出现 bug—— 有些是逻辑失误,有些是环境变迁,有些甚至源于协作失控。比如,就在前几天,AWS、谷歌云、Azure 和 Cloudflare 都发生了 中断,连带着 ChatGPT 和 Cursor 等热门 AI 应用也一并短暂失联;而这一事故的原因可能是一次错误的自动配额更新导致谷歌的 API 管理系统出现了故障。 同时,bug 修复也是软件工程中最基础,却也是最复杂、最消耗人力的任务之一。特别是在真实的 GitHub 项目中,修一个 bug 并不是「找到一行错字那么简 单」,它常常需要: 那么,我们能否使用 AI 智能体来完成这些任务呢? 当然可以!但我们需要的绝不是传统的用于解决单独编程任务的 AI 编程模型,而是需要像人类开发者一样能够理解历史上下文、进行多轮推理、在模糊与不确 ...