Scaling Law

Search documents
她为何被雷军挖角
投资界· 2025-01-21 07:35
以下文章来源于南风窗 ,作者朱秋雨 南风窗 . AI小厂崛起。 作者 | 朱秋雨 来源 | 南风窗 (ID:shangyejingxiang) 2024年末,一个中国AI小厂,凭借过硬的技术,获得了全球铺天盖地的关注。 圣诞节过后,海外社交媒体以及技术论坛Github都在讨论一个最新发布的开源大模型, DeepSeek-V3。它被外国网友冠以名号——"来自东方的神秘力量"。 多个评测报告里,DeepSeek-V3在世界开源模型之中处在第一梯队,超过扎克伯格的 LLaMa 3.1。拿它比GPT-4o以及Claude 3.5两个最顶尖大模型也毫不逊色,甚至, 其在数学推理、代码生成和长文本处理等指标上,表现更强。 这还不是中国AI公司DeepSeek(中文名:深度求索)全部的"拿手好戏"。更让美国硅 谷等同行摸不着头脑的是,DeepSeek公布的53页技术报告显示,其训练顶尖大模型只 用了2048张H100的GPU集群,花费53天,共计耗费557.6万美元。有专业人员指 出,同等水平之下,世界AI大厂至少要用1.6万张以上的GPU,有的甚至需要10万张 GPU并行训练。 OpenAI早期成员安德烈·卡帕西感慨,D ...
AI正在诞生一个万亿级公司
投资界· 2024-12-25 08:24
人工智能"加减乘除"。 报道 I 投资界PEdaily 2 0 24年12月1 0 - 11日,由中共重庆市委金融委员会办公室指导,清科创业、投资界主 办,重庆渝富控股集团联合主办的"第二十四届中国股权投资年度大会"走进西部金融中 心重庆。作为股权投资行业晴雨表,本次大会将以"万象耕新"为主题,回顾行业风云, 重塑格局策略,探索价值发现,持续为中国股权投资行业注入力量。 本场《人工智能+-×÷》圆桌论坛,由光速光合合伙人 孙健 主持,对话嘉宾为: 真格基金 合伙人 刘元 啟赋资本 合伙人 宋昶 广州基金 首席投资官 易沙 合力投资 管理合伙人 张敏 以下为对话实录, 经投资界(ID:peda il y 2 0 1 2)编辑: 孙健 :很荣幸主持这场圆桌讨论,主题是人工智能加减乘除,为什么是加减乘除?我在 想,是不是可能半年前人工智能还处于(X),发展到今天大家面临着各种各样的疑问 和困惑,就演变成了一个加减乘除,不知道该选择哪一个符号。在开场前,还是请大家 先自我介绍。 张敏 :我来自合力投资,主要关注早期投资,2001年进入到天使投资,现在做了2 3年。 易沙 :广州基金是由广州市委、市政府为推进广州产业转 ...
晚点播客丨OpenAI o1 如何延续 Scaling Law,与硅基流动袁进辉聊 o1 新范式
晚点LatePost· 2024-09-20 15:22
"如果每天和开发者打交道,你不会感觉这个行业停滞或变冷。" 文丨程曼祺 贺乾明 扫描图中右下角二维码,可收听播客。* 这是《晚点聊 LateTalk 的第 80 期节目,欢迎在小宇宙、喜马拉雅、苹果 Podcast 等渠道关注、收听我们。 《晚点聊 LateTalk》是《晚点 LatePost》 推出的播客节目,在文字报道之外,用音频访谈形式捕捉商业世界变化的潮流和不变的逻辑,与这 其中的人和故事。 OpenAI 发布新模型 o1 后的第二天,我们邀请了硅基流动创始人袁进辉与我们分享了 o1 的技术意义,也讨论了今年 1 月至今,袁进辉观察 到的 AI 开发者社区变化。 o1 的一个重要变化就是增加了分配给推理(inference,即大模型的使用)阶段的算力,推理阶段计算(test-time compute)重要性提升。 而袁进辉今年初创立的硅基流动(SiliconFlow)就是一家做推理加速优化的 AI Infra(中间层软件)公司。他是一位连续创业者,曾在 2017 年创立一流科技(OneFlow),在 2023 年加入王慧文组建的大模型创业公司光年之外,成为联合创始人。(袁进辉的上两段创业故事,可 听 ...
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 13:52
聊 C.AI 不能只聊 C.AI,更不能只聊陪聊类产品,因为这些都是表象。如果从背后更深一层的商业逻辑来看,我们就会发现 C.AI 被收购几乎是一种必然,这就是 典型的个体在整个商业世界运作规则之下的命运轨迹的缩影。 但同时,你会面临的问题就是,我该如何把陪聊类产品包进我的模型故事里。 那在 23 年市场最火热的时候,如果你是 Noam,有那么好的背景和市场机遇,你在定位自己的时候,会说自己是一家应用公司,还是说自己是家模型公司呢? 当然是模型公司,不然应用做得再好,凭什么能一上来就估值十亿美金?以及有一个 AGI 的大故事难道不比做一款厉害的陪聊产品更性感吗?何况有这么好的背 景,不做大模型不就浪费了嘛。 到了 2023 年初,C.A I 获得了 A16Z 领投的一轮融资,那时候很多媒体的标题是 "0 收入,10 亿美元估值"。 在之后相当长的时间里,AI 的三大 2C 产品就是 ChatGPT 形态、Perplexity 类搜索以及 C.AI 类陪聊,所以可以看到现在最红海的市场就是大模型类产品、AI 搜索 和 AI 陪聊。 于是,你会发现,2022 年 12 月 5 日,在 Character.AI(以 ...
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 13:52
聊 C.AI 不能只聊 C.AI,更不能只聊陪聊类产品,因为这些都是表象。如果从背后更深一层的商业逻辑来看,我们就会发现 C.AI 被收购几乎是一种必然,这就是 典型的个体在整个商业世界运作规则之下的命运轨迹的缩影。 最近很多人在谈论 C.AI 被收购的问题时都有很多迷思,我们先来陈述几个事实: 1)这笔交易是一种以授权协议变相进行的收购,主要目的是为了绕过反垄断的监管 2)C.AI 始终标榜自己是家底层模型研发公司,而非应用公司 Character.ai 是一家全栈通用人工智能 ( AGI ) 公司。 其实 C.AI 的结局几乎从这个时候就已经注定了,就是当 "全栈" 这个词出现的时候。 3 )最终交易完成后近 30 人的底层模型开发人员加入 Google,剩下 100 余人跟产品相关的团队剥离出来留在 C.AI 所以,C.AI 被收购其实和他产品做的如何或者陪聊类产品形态成立与否等都不相关,而要真正读懂 C.AI 的故事,还是要从他的创始人入手,因为公司的结局取决 于其每一步的选择,而这些选择都是创始人经历和性格的缩影。 C.AI 创始人 Noam Shazeer 是 transformer 论文的八个作 ...