老黄200亿「钞能力」回应谷歌：联手Groq，补上推理短板

Jay 发自 凹非寺量子位 | 公众号 QbitAI 老黄稳准狠，谷歌的TPU威胁刚至，就钞能力回应了。 推理方面，Groq LPU的速度远超GPU、TPU，以及目前所见的任何ASIC。 200亿美元说砸就砸，只为拉拢一家炙手可热的「铲子新工厂」——Groq。 这无疑也标志这家芯片巨头，面向AI新时代的一次重大布局。但在某种程度上，也的确反映出老黄对包括TPU在内等一众新芯片范式的担忧。 所以，Groq究竟能为英伟达带来什么？ 针对这个问题，知名科技投资人Gavin Baker发表了自己的观点。 而他的这一连串技术剖析，纷纷指向了英伟达帝国防守最薄弱的那块领土——推理。 Gavin Baker 这一观点得到大量网友点赞： GPU架构根本无法满足推理市场对低延迟的需求，片外HBM显存速度实在太慢了。 先看prefill： 网友观点 但也有网友指出，LPU所采用的SRAM，或许并不能胜任长下文decode。 对此，Gavin认为英伟达可以通过产品「混搭」的方式解决。 Gavin Baker 下面具体来看—— Groq：英伟达斥200亿美元购入的一剂疫苗 Gavin认为，GPU在新时代水土不服的根本原因在于——推理 ...