谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒

时令 发自 凹非寺 量子位 | 公众号 QbitAI 大模型耗电惊人，舆论一浪高过一浪。 现在，谷歌用硬核数据强势还击。 一次Gemini查询仅能耗0.24wh， 相当于微波炉运行1秒 ，排放0.03 g CO₂e，甚至 比人放一次屁还少 ，同时消耗约5滴水。 （文中数据均表示中位数） 谷歌首席科学家Jeff Dean公开表示： 这个数值明显低于公众普遍预期的水平。 若Gemini只考虑TPU和GPU的消耗，一次查询只需消耗0.10wh，排放0.02 g CO₂e，耗水量约0.12ml。 但这种计算方式仅考虑了机器在运行中的能耗，而忽略了一些关键因素。 并且像谷歌这样的大模型厂商，一直专注研究如何降低AI消耗。 一年间，通过模型优化和额外清洁能源的使用，Gemini的能耗降至原来的1/33，碳排放降至1/44，同时提供了更高质量的响应。 下面让我们一起看看谷歌是如何衡量和减少AI能源消耗的？ 如何衡量AI消耗能源 谷歌首先指出，目前许多关于AI能源消耗的计算反映的都是理论效率，而非大规模运行下的实际效率。 | | Active Al Accelerators | | | | | | --- | --- | - ...