SemiAnalysis创始人Dylan最新访谈--AI、半导体和中美

最近SemiAnalysis创始人Dylan Patel参加了不少播客，但他自称这个是最喜欢的其中一个。 我们之前写过不少SemiAnalysis的文章，Dylan对半导体公司的分析可以说是非常透彻，但对我们国家有些敌意，所以大家在看SemiAnalysis的报告时， 对那些涉及村内的事，要多留个心眼，SA的信息可能有偏见，需要再多方确认查证。 但这次的博客，个人认为干货还是很多的，访谈时间有两个小时，也解答了我自己想问的几个问题。从OpenAI和Nvidia的合作开始，讨论了AI计算需 求、模型训练的缩放定律、token经济学、强化学习的应用、未来应用场景、电力和供应链问题、美中AI竞争的差异，以及对几家公司的看法。Dylan的 观点基于他的硬件背景，分析得很具体。 OpenAI与Nvidia合作的具体情况 硬件推理速度没跟上。缩放定律基于计算、数据和模型大小，但互联网数据快用尽了。Dylan认为，文本预训练接近尾声，但多模态如图像和视频还有 空间。Google的Veo和Imagen模型就是靠这个扩展。没有架构改进，单纯扔更多资源就能进步，但实际中，模型大小受服务限制。扩展来说，播客提 到，如果模型进步停滞 ...