今天，大模型参数已经以"亿"为单位狂飙。 仅仅过了两年，大模型所需要的计算能力就增加了1000倍，这远远超过了硬件迭代的速度。目前支持AI大模型的方案，主流是依靠GPU集群。 但单芯片GPU的瓶颈是很明显的：第一，单芯片的物理尺寸限制了晶体管数量，即便采用先进制程工艺，算力提升也逐渐逼近摩尔定律的极限；第二，多 芯片互联时，数据在芯片间传输产生的延迟与带宽损耗，导致整体性能无法随芯片数量线性增长。 这就是为什么，面对GPT-4、文心一言这类万亿参数模型，即使堆叠数千块英伟达 H100，依然逃不过 "算力不够、电费爆表" 的尴尬。 目前，业内在AI训练硬件分为了两大阵营：采用晶圆级集成技术的专用加速器（如Cerebras WSE-3和Tesla Dojo）和基于传统架构的GPU集群（如英伟达 H100）。 晶圆级芯片被认为是未来的突破口。 晶圆级芯片，两大玩家 在常规的芯片生产流程中，一个晶圆会在光刻后被切割成许多小裸片（Die）并且进行单独封装，每片裸片在单独封装后成为一颗完整的芯片。 芯片算力的提升方式，是依靠增加芯片面积，所以芯片厂商都在不断努力增加芯片面积。目前算力芯片的单Die尺寸大约是26x33=8 ...

图片来源： 20VC with Harry Stebbings Z Highlights Andrew Feldman 是 Cerebras 的联合创始人兼首席执行官， Cerebras 是世界上最快的人工智能推理 + 训练平台。本次访谈为他和 20VC 主播 Harry Stebbings 探讨 AI 时代改变芯片构造需求以及行业趋势。 AI 对芯片需求的改变 Harry ： 见到你真是太高兴了。我期待这次对话很久了。 Eric 经常向我提起你，一直对你赞不绝口，非常感谢你能接受我的访谈。 Andrew ： Harry ，谢谢邀请。很荣幸能参与这个对话。 Harry ： 这一定会是场精彩的对话，感觉今天能跟你学到很多。让我们回到 2015 年，当时你和团队在 AI 领域看到了什么机遇，促使你们创立了 Cerebras 公司？ Andrew ： 我们看到了一种新兴工作负载的崛起 —— 这对计算机架构师而言堪称梦想成真。我们发现了一个值得解决的新问题，这意味着或许可以为此打 造更适配的硬件系统。 2015 年时，我的联合创始人 Gary 、 Sean 、 JP 和 Michael 率先预见了 AI 的兴起。这预 ...