老黄200亿“钞能力”回应谷歌：联手Groq，补上推理短板

Jay 发自 凹非寺量子位 | 公众号 QbitAI 老黄稳准狠，谷歌的TPU威胁刚至，就钞能力回应了。 200亿美元说砸就砸，只为拉拢一家炙手可热的「铲子新工厂」——Groq。 这无疑也标志这家芯片巨头，面向AI新时代的一次重大布局。但在某种程度上，也的确反映出老黄对 包括TPU在内等一众新芯片范式的担忧。 所以，Groq究竟能为英伟达带来什么？ 针对这个问题，知名科技投资人Gavin Baker发表了自己的观点。 而他的这一连串技术剖析，纷纷指向了英伟达帝国防守最薄弱的那块领土——推理。 推理方面，Groq LPU的速度远超GPU、TPU，以及目前所见的任何ASIC。 Gavin Baker 这一观点得到大量网友点赞： GPU架构根本无法满足推理市场对低延迟的需求，片外HBM显存速度实在太慢了。 网友观点 但也有网友指出，LPU所采用的SRAM，或许并不能胜任长下文decode。 对此，Gavin认为英伟达可以通过产品「混搭」的方式解决。 Gavin Baker 在这个准备阶段，模型不用急着响应用户问题。即便有延迟，模型也完全可以通过显示「思考中」来掩 盖等待时间。 因此，相比「速度」，prefiil需要 ...