公众号记得加星标⭐️，第一时间看推送不会错过。 人类正在经历一场极其极端的技术革命，其规模之大可能超出人类智力所能及的范围。生成式人工智 能 (GenAI) 的性能每六个月翻一番，甚至超越摩尔定律，业界称之为"超摩尔定律"。一些云端人工 智能芯片制造商预计，未来十年内，其性能每年都将翻一番或三倍。在这个由三部分组成的博客系列 中，我们将探讨当今半导体行业的格局和芯片制造商的创新战略，在第二部分深入探讨未来面临的重 大挑战，并在第三部分总结推动人工智能未来发展的新兴变革和技术。 专家预测，以这种爆炸式的速度，通用人工智能 (AGI) 将在 2030 年左右实现 ，随后不久，超级人 工智能 (ASI) 也将出现。AGI 将拥有类似人类的推理能力，而 ASI 将超越人类，能够进行自我编 程，甚至超越最专业的大脑所能理解的范围。AGI 通过自我改造快速进化为 ASI 的过程，通常被称 为智能爆炸。 下图展现了这种指数级加速发展，令人难以忽视。短短几年间，人工智能在许多曾被认为需要深厚专 业知识的复杂任务上超越了人类。此外，它还在迅速逼近其他领域，例如推理、数学问题解决和代码 生成。数十年来停滞不前的能力，如今在数月内 ...

该工作第一作者为蚂蚁技术研究院副研究员胡翔，蚂蚁技术研究院高级研究员武威为通讯作者。 在大语言模型如火如荼的当下，长文本建模仍然是一个极具挑战的问题。纠其根源，一方面在于主流 LLMs 的架构 Transformers 中平方复杂度及随序列长度线性增 长的推理阶段显存开销；另一方面在于 full-attention 有限的外推能力，难以泛化到远超预训练阶段长度的输入。 而高效处理长上下文能力，除了简单的工业界降本增效的需求外，还涉及通用人工智能 (AGI) 的核心问题：具有永久记忆的智能体。如果将人类从出生开始接收 到的信息视作长上下文，人类拥有记忆无非是访问这些上下文。因此记忆可以看作是超长上下文访问能力，而拥有与用户所有对话记忆的智能体，很可能为大语 言模型公司构建数据护城河 (事实上，OpenAI 已经开放了类似能力)。 近日，蚂蚁的研究团队为这个问题带来了一个新思路。就像人类开卷考试只会挑和当前问题相关的关键页作为参考，语言模型也可以只关注与当前上下文相关的 过去片段。以此为出发点，他们提出一种 基于因果检索的注意力机制 GCA (Grouped Cross Attention)，完全端到端地学习如何 ...

A16Z 两位合伙人 Martin Casado 和 Eric Torenberg 对李飞飞进行一次深度访谈。 网上搜索，会看到片段式的观点，整体比较跳跃，难以系统理解。因此，我吸收后，重新梳理脉络，试 图汇报给关注空间智能、世界模型的朋友听听： 李飞飞到底在关注什么？她创办的新公司 World Labs，究竟想做什么？这是否预示着 AI 发展的一个新 方向？ 很多人不知道这家公司，2024年，著名人工智能专家、斯坦福大学教授李飞飞创办了初创公司 World Labs；这家公司正在探索一个极具前瞻性的方向：开发具备"空间智能"的下一代 AI 系统。 短短三个月内，World Labs 完成两轮融资，累计筹集资金约 2.3亿美元，估值迅速突破 10亿美元，成为 AI 领域最新的独角兽企业。 投资方阵容也非常的强大，包括 a16z、Radical Ventures、NEA、英伟达 NVentures、AMD Ventures 和 Intel Capital 等科技与风投界的重量级玩家。 这些投资机构，国内市场有些你可能没听过，不过，不重要；关键是：李飞飞首次在这场 A16Z 的访谈 中，公开讲述了 World L ...