晶圆级芯片，是未来

今天，大模型参数已经以"亿"为单位狂飙。 仅仅过了两年，大模型所需要的计算能力就增加了1000倍，这远远超过了硬件迭代的速度。目前支持AI大模型的方案，主流是依靠GPU集群。 但单芯片GPU的瓶颈是很明显的：第一，单芯片的物理尺寸限制了晶体管数量，即便采用先进制程工艺，算力提升也逐渐逼近摩尔定律的极限；第二，多 芯片互联时，数据在芯片间传输产生的延迟与带宽损耗，导致整体性能无法随芯片数量线性增长。 这就是为什么，面对GPT-4、文心一言这类万亿参数模型，即使堆叠数千块英伟达 H100，依然逃不过 "算力不够、电费爆表" 的尴尬。 目前，业内在AI训练硬件分为了两大阵营：采用晶圆级集成技术的专用加速器（如Cerebras WSE-3和Tesla Dojo）和基于传统架构的GPU集群（如英伟达 H100）。 晶圆级芯片被认为是未来的突破口。 晶圆级芯片，两大玩家 在常规的芯片生产流程中，一个晶圆会在光刻后被切割成许多小裸片（Die）并且进行单独封装，每片裸片在单独封装后成为一颗完整的芯片。 芯片算力的提升方式，是依靠增加芯片面积，所以芯片厂商都在不断努力增加芯片面积。目前算力芯片的单Die尺寸大约是26x33=8 ...