Scaling Law

Search documents
独家专访 Tripo CMO,揭秘如何实现 3D 用户破圈增长和多社区联动策略
深思SenseAI· 2024-09-30 03:04
Builders 是由 @Magineer、@有新Newin 以及 @深思SenseAI 联合推出的人物专栏,旨在发现与分享更多的优秀出海创业团队与独立开发者,我们将 定期邀请生态范围内的创始人与团队展开对话。 Tripo.AI 的迭代与未来蓝图 我们尝试基于文章内容,提出更多发散性的推演和深思,欢迎交流。 - 产品和技术能力是生成模型类公司的基本盘 ,Tripo.AI 早期从"生成快"这个点突破,在数据积累和 Scaling law 上坚持推进。 今天我们邀请到的嘉宾是 VAST CMO Sienna,邀请她和我们分享 VAST 的产品 Tripo.AI 在过去的一年时间中如何找到自己的用户,并探索用户增 长。 - 用户不断破圈很重要 , 从AI科技爱好者,扩展到泛互联网3D设计和实体工业3D打印设计,目前也开始吸引 Roblox 平台的内容消费者。 在访谈中,我们深入探讨了目前 VAST 的产品和技术能力,拆解了目前 Tripo.AI 的核心用户画像及对应的商业模式。同时,由于 3D 内容资产天然比 较难买量传播,Tripo.AI 摸索出了一条社区运营为核心的破圈策略,Sienna 在访谈中为我们分享了很 ...
晚点播客丨OpenAI o1 如何延续 Scaling Law,与硅基流动袁进辉聊 o1 新范式
晚点LatePost· 2024-09-20 15:22
"如果每天和开发者打交道,你不会感觉这个行业停滞或变冷。" 文丨程曼祺 贺乾明 扫描图中右下角二维码,可收听播客。* 这是《晚点聊 LateTalk 的第 80 期节目,欢迎在小宇宙、喜马拉雅、苹果 Podcast 等渠道关注、收听我们。 《晚点聊 LateTalk》是《晚点 LatePost》 推出的播客节目,在文字报道之外,用音频访谈形式捕捉商业世界变化的潮流和不变的逻辑,与这 其中的人和故事。 OpenAI 发布新模型 o1 后的第二天,我们邀请了硅基流动创始人袁进辉与我们分享了 o1 的技术意义,也讨论了今年 1 月至今,袁进辉观察 到的 AI 开发者社区变化。 o1 的一个重要变化就是增加了分配给推理(inference,即大模型的使用)阶段的算力,推理阶段计算(test-time compute)重要性提升。 而袁进辉今年初创立的硅基流动(SiliconFlow)就是一家做推理加速优化的 AI Infra(中间层软件)公司。他是一位连续创业者,曾在 2017 年创立一流科技(OneFlow),在 2023 年加入王慧文组建的大模型创业公司光年之外,成为联合创始人。(袁进辉的上两段创业故事,可 听 ...
发布视频生成模型、日均交互 30 亿次,MiniMax 第一次线下活动记录
晚点LatePost· 2024-09-02 15:40
"如果我们在竞争中打不赢,就应该被淘汰,没有其他选择。 文丨程曼祺 由 MiniMax 视频生成大模型制作的短片《魔法硬币》,MiniMax 称其中每个场景都由大模型生成,未经任何修改。 发布会所在的 "西岸漩心" 被巨大的螺旋式阶梯环绕,游人可沿着步道一直走到顶层露台,眺望浦东风景。这 是一条上升、平缓,然后再上升、平缓,最终达到顶点的路。此时 AI 领域似乎也处在螺旋中的相对平缓期。 当 MiniMax 创始人闫俊杰放映完由视频生成模型制作的动画短片后,观众席传来数声尖叫。至少 3 位在场的 投资人说, 视频生成模型是他们当天最在意的成果 。 但视频生成模型本身不新鲜了,自 OpenAI 年初发布 Sora,数家中国公司跟进这一方向。 "期货" 也在成为行业关键词:GPT-5、GPT-4o 的语音视频功能、Sora……它们要么上线晚于预期,要么亮相多 时后仍未大规模公测。据我们了解,国内 "六小龙"(MiniMax、月之暗面、智谱 AI、百川智能、零一万物、 阶跃星辰 6 家大模型独角兽)今年的基础模型或多模态模型的更新时点也多晚于原计划。 发布结束后,闫俊杰被问起如何看待技术进展放缓。他说,一条上升、平 ...
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 13:52
聊 C.AI 不能只聊 C.AI,更不能只聊陪聊类产品,因为这些都是表象。如果从背后更深一层的商业逻辑来看,我们就会发现 C.AI 被收购几乎是一种必然,这就是 典型的个体在整个商业世界运作规则之下的命运轨迹的缩影。 但同时,你会面临的问题就是,我该如何把陪聊类产品包进我的模型故事里。 那在 23 年市场最火热的时候,如果你是 Noam,有那么好的背景和市场机遇,你在定位自己的时候,会说自己是一家应用公司,还是说自己是家模型公司呢? 当然是模型公司,不然应用做得再好,凭什么能一上来就估值十亿美金?以及有一个 AGI 的大故事难道不比做一款厉害的陪聊产品更性感吗?何况有这么好的背 景,不做大模型不就浪费了嘛。 到了 2023 年初,C.A I 获得了 A16Z 领投的一轮融资,那时候很多媒体的标题是 "0 收入,10 亿美元估值"。 在之后相当长的时间里,AI 的三大 2C 产品就是 ChatGPT 形态、Perplexity 类搜索以及 C.AI 类陪聊,所以可以看到现在最红海的市场就是大模型类产品、AI 搜索 和 AI 陪聊。 于是,你会发现,2022 年 12 月 5 日,在 Character.AI(以 ...
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 13:52
聊 C.AI 不能只聊 C.AI,更不能只聊陪聊类产品,因为这些都是表象。如果从背后更深一层的商业逻辑来看,我们就会发现 C.AI 被收购几乎是一种必然,这就是 典型的个体在整个商业世界运作规则之下的命运轨迹的缩影。 最近很多人在谈论 C.AI 被收购的问题时都有很多迷思,我们先来陈述几个事实: 1)这笔交易是一种以授权协议变相进行的收购,主要目的是为了绕过反垄断的监管 2)C.AI 始终标榜自己是家底层模型研发公司,而非应用公司 Character.ai 是一家全栈通用人工智能 ( AGI ) 公司。 其实 C.AI 的结局几乎从这个时候就已经注定了,就是当 "全栈" 这个词出现的时候。 3 )最终交易完成后近 30 人的底层模型开发人员加入 Google,剩下 100 余人跟产品相关的团队剥离出来留在 C.AI 所以,C.AI 被收购其实和他产品做的如何或者陪聊类产品形态成立与否等都不相关,而要真正读懂 C.AI 的故事,还是要从他的创始人入手,因为公司的结局取决 于其每一步的选择,而这些选择都是创始人经历和性格的缩影。 C.AI 创始人 Noam Shazeer 是 transformer 论文的八个作 ...
中国首批核聚变创业者谭熠:它总在你绝望时又给你希望|TECH TUESDAY
晚点LatePost· 2024-07-30 13:15
"核聚变永远还有 50 年是对的,现在不到 10 年可能也是对的。" 文丨 贺乾明 编辑丨程曼祺 "如果核聚变发电就是实现不了呢?" 听到这个问题,在清华大学研究核聚变 20 多年的谭熠沉默了几秒,然后笑了起来。他觉得这个问题 "根本没道理",因为核聚变 "从科学上是可行的"。 70 多年前的曼哈顿工程期间,科学家就了解核聚变原理。二战结束后,美国很快就用它造出了氢弹。但用核聚变发电的研究几经起伏,冷战后几乎停滞了 20 多年。 情况在 2021 年发生变化 ,美国的核聚变公司 Helion 宣布把等离子体加热到 1 亿摄氏度,实现原本只有政府项目才能做到的壮举;从麻省理工分拆的核聚变 公司 CFS 开发出形成更强磁场的高温超导磁体,把低成本建造能实现核聚变装置可能性大幅提高。 核聚变创业热潮出现:OpenAI 联合创始人山姆·阿尔特曼、PayPal 联合创始人彼得·蒂尔、比尔·盖茨、乔治·索罗斯等硅谷科技名流和富豪,以及 Google、DFJ 等机构在短时间里朝核聚变行业投资了 30 多亿美元,是美国政府数年来累计拨款的数倍。 这一年,谭熠创办核聚变公司星环聚能,担任首席科学家,在 2022 年 6 月拿到 ...
上半年 AI 市场有多差?为什么机构出手这么少? | 42章经
42章经· 2024-07-21 13:50
Q1. 今年以来,AI 市场的温度在如何变化? A: 今年上半年,整个一级市场(尤其是 AI 领域)之差可以说是十年所未见。 AI 赛道从去年 3 月左右开始火起来,下场创业的很多都拿到了融资,但 9 月之后形势开始急转直下 (原因我们在去年的 年终总结 里也有写 过)。到了今年,市场还在进一步变冷,从 1 月到 5 月,拿到主流机构投资的 AI 公司不会超过 30 家,其中相当一部分还是追加轮次的公 司。 这个数字大概是十年前的百分之一,也就是说整个市场的融资难度提高了百倍。在这个数字之下,绝大多数人的任何选择和努力都是无效 的。 Q2. 为什么机构出手这么少?是他们需要更多时间跟踪和学习吗? A: 我们接触了这么多机构,其实非常能理解为什么他们不出手: 1)讲大故事的是否能做出来?AI 能做到吗?大厂竞争怎么办?大模型做了怎么办? 2)现在能赚钱的、有数据的,会不会不够 AI?是不是太像生意?市场是不是不大? 3)AI 未来到底会怎么发展?甚至大模型到底行不行? 其实说穿了,就是现在这件事有太多的不确定性。机构如果仍然在之前的评价体系里,就一定是无法出手的。 所以我觉得问题不是说大家 对于这事的了解还不够 ...
对话香港大学马毅:“如果相信只靠 Scaling Laws 就能实现 AGI,你该改行了”
晚点LatePost· 2024-06-04 10:05
文丨程曼祺 编辑丨宋玮 黄俊杰 当大部分人都相信一件事或趋势时,不同意的人可以选择沉默,也可以大声说出来。前者是少数派中的多数派,后者少数派中的少数派。 马毅就是一个少数派中的少数派。 自 2000 年从伯克利大学博士毕业以来,马毅先后任职于伊利诺伊大学香槟分校(UIUC)、微软亚研院、上海科技大学、伯克利大学和香港大 学,现担任香港大学计算机系主任和数据科学研究院院长。 他最早将 "压缩感知" 技术应用于计算机视觉领域,在人脸识别、物体分类等任务上产生了巨大影响。 知名 AI 学者李飞飞是马毅在 UIUC 时参与招聘的第一个华人助理教授,ResNet 一作何恺明是马毅在微软亚研院负责视觉组时招的第一个新员 工。 少数派中的少数派。 马毅公开表达时直言不讳。AI 业界惊叹于 GPT 等大模型的威力,担心 AI 可能毁灭人类,如图灵奖得主杰弗里·辛顿(Geoffrey Hinton) 和 OpenAI 发起者之一伊隆·马斯克(Elon Musk)就多次将 AI 类比为原子弹,呼吁监管。 "说现在的 AI 危险的人,要么是无知,要么是别有目的。" 马毅在 twitter 上回应 AI 威胁论。 强烈的观点来自他对 ...
Llama 3 发布,亮点在于 “小” 模型
晚点LatePost· 2024-04-19 16:05
重新寻找 Scaling Laws。 文丨 贺乾明 编辑丨黄俊杰 像一个人的学习成长一样,每个全新的大模型,都需要从大量的文本中学习 "知识",才有能力去解 决一个个问题。 Google 训练 70 亿参数的 Gemma 开源模型,让它 "看过" 6 万亿 Token(6 万亿个词)的文本。微软 投资的 Mistral 训练 73 亿参数模型,"看过" 8 万亿个 Token 的文本。 用如此大规模的数据训练参数不到 100 亿的模型,已经是行业中比较重的方法。按照 DeepMind 研 究人员提出的策略,如果考虑性价比,这么大的模型,看 2000 亿 Token 的文本就够了。不少中国 一线创业公司的同等规模大模型只用了 1 万亿~2 万亿个 Token 的文本。 Meta 的 CEO 马克·扎克伯格(Mark Zuckerberg)不满足于此,他直接把下一代开源大模型送进了 "县中",用更多习题拔高能力。Meta 昨夜推出的 Llama 3 系列大模型,80 亿参数模型用了 15 万亿 Token 的训练数据,比 Google 的多学了一倍还不止,是很多小公司产品的十倍。 根据 Meta 公布的数据,在 ...