Cost saving

Search documents
Why We Don’t Need More Data Centers - Dr. Jasper Zhang, Hyperbolic
AI Engineer· 2025-08-01 15:00
Market Trend & Problem Statement - AI 将与未来的一切融合,对 GPU 和数据中心的需求正在爆炸式增长 [4] - 到 2030 年,需要比现在快四倍的速度建造多四倍的数据中心 [5] - 仅在美国,到 2030 年数据中心供应缺口将超过 15 吉瓦 [8] - 企业和公司 GPU 的空闲时间占 80% [9] - 构建数据中心面临挑战,例如成本高昂(第一个星际之门数据中心耗资超过 10 亿美元),连接电网速度慢(等待时间长达 7 年才能将 100 兆瓦的设施连接到北弗吉尼亚州的电网) [6][7] - GPU 和数据中心消耗了美国总用电量的 4%,并且环境可持续性较差,导致大量的二氧化碳排放 [8] Proposed Solution & Hyperbolic's Approach - 行业需要构建一个 GPU 市场或聚合层,以聚合不同的数据中心和 GPU 提供商,从而解决 GPU 用户的问题 [10] - Hyperbolic 正在构建一个名为 HyperDOS(Hyperbolic Distributed Operating System)的全球编排层,它类似于 Kubernetes 软件,允许任何集群在安装软件后成为网络中的一个集群 [11] - 用户可以通过多种方式租用 GPU,例如现货实例、按需、长期预留或托管模型 [11] - Hyperbolic 的 GPU 市场 H100 的 GPU 成本为每小时 0.99 美元,而 Google 的按需 GPU 成本为 11 美元 [13] - 通过统一的分销渠道,可以大幅降低价格 [13][14] - Hyperbolic 正在构建一个统一的平台,初创公司或公司不再需要审查不同的数据中心,只需选择评级高或价格最优的数据中心即可,还将对 GPU 的性能进行基准测试 [16] Benefits & Cost Savings - 通过 GPU 市场,可以节省 50% 到 75% 的成本 [13] - 通过 Hyperbolic,可以将成本从 4380 万美元降低到 690 万美元,节省 6 倍 [19] - 通过增加计算量,可以提高模型的质量,在相同的预算下,生产力可以提高 6 倍 [20] - 通过将闲置的 GPU 出售给其他人,可以帮助其他人获得更便宜的 GPU [20] Future Vision - GPU 市场将发展成为不同 AI 工作负载的一体化平台,包括 AI 推理(在线和离线)和训练作业 [21] - 行业应该更好地重用和回收那些闲置的计算资源,而不是仅仅关注构建数据中心,因为这会消耗大量能源和占用大量土地 [21]