刚刚,全球首个GB300巨兽救场,一年烧光70亿,OpenAI内斗GPU惨烈
为了争夺有限的GPU,OpenAI内部一度打得不可开交。2024年总算力投入70亿美元,但算力需求依旧是无底洞。恰恰,微软发布了全球首台 GB300超算,专供OpenAI让万亿LLM数天训完。 过去一年,OpenAI在算力上斥资70亿美元。 其中,大模型研发占了最大头——50亿美元,而推理计算仅用了20亿美元。 如今,甲骨文、英伟达、AMD等芯片巨头/云服务巨头,纷纷与OpenAI联结,能够解其燃眉之急。 这不,就连曾经最大的「金主爸爸」微软也上阵了。 纳德拉官宣,全球首个配备4600+ GB300的超算率先上线,专攻OpenAI。预计,未来将扩展到十万块GPU。 英伟达称,这一算力巨兽,可以让OpenAI不用数周,仅在数天内训练万亿参数模型。 可见,LLM训练正吞噬无尽的算力,这也是OpenAI最近一直在大举扩展超算建设与合作的重要原因。 采访中,OpenAI总裁Greg Brockman坦言,「内部如何分配GPU,简直就是一场痛苦与煎熬」。 OpenAI各个团队争抢GPU,那叫一个激烈。最头疼的是,如何去合理分配。 全球首台GB300超算,数天训出万亿LLM 就在昨天,微软Azure宣布成功交付了,全球首 ...