訓練 GPT-4 到底多耗水:微軟資料中心用水激增 34%,提問幾十次喝掉半升
美聯社報道披露,微軟與 OpenAI 在愛荷華州為訓練 GPT-4 抽取了大量河水為超算降溫。微軟 2022 年全球用水量激增 34%,外部研究測算向 ChatGPT 提問 5 至 50 次就要消耗約 500 毫升水。這讓生成式 AI 背後高昂的水資源代價浮出水面。
大家在螢幕前敲下一行提示詞,ChatGPT 幾秒鐘就能吐出一篇漂亮的文章。很多人以為這背後無非是多燒了幾度電、多佔了幾張顯示卡。但真實世界的代價,往往比想像中更接地氣,比如白花花的淡水。
美聯社在 9 月 9 日發表的一篇調查報道,揭開了生成式 AI 背後鮮為人知的環境賬單。微軟高管此前在一場演講裡透露,OpenAI 最先進的大語言模型 GPT-4,其實並不是在加州的玻璃寫字樓裡完成訓練的,而是誕生在愛荷華州西梅因市郊外的玉米地旁。
玉米地旁的超級水泵
訓練大模型要喂進去海量文本,數萬顆晶片夜以繼日地跑,發熱量極其驚人。為了不讓伺服器宕機,資料中心必須靠水冷系統散熱,把水打入建築外的冷卻塔。
微軟早在 2019 年就向 OpenAI 投了 10 億美元,並承諾提供訓練所需的算力。2020 年,微軟宣佈為 OpenAI 打造了一套專屬超算,擁有超過 28.5 萬個常規處理器核心和 1 萬塊 GPU。這臺龐然大物最終就落戶在只有 6.8 萬人口的愛荷華州西梅因市。
這裡的氣候大部分時間很涼爽,室外空氣就足夠冷卻機房。微軟曾公開表示,只有當氣溫超過 29.3 攝氏度時,才會抽水降溫。但一旦趕上酷暑,用水量依然誇張。
當地水務部門的資料顯示,就在 OpenAI 宣佈完成 GPT-4 訓練的前一個月,也就是 2022 年 7 月,微軟在當地的資料中心叢集一個月就抽走了約 1150 萬加侖的水。這相當於全區當月總用水量的 6%,而這些水原本主要供應當地居民飲用。
問幾十次,喝掉半升水
不僅訓練模型耗水,我們平時呼叫模型同樣在消耗水資源。
加州大學河濱分校的研究員任紹磊團隊測算,你每向 ChatGPT 提問 5 到 50 次,它就要消耗大約 500 毫升水,差不多相當於一整瓶 16 盎司的瓶裝水。這筆賬裡還包含了間接用水,比如為資料中心供電的發電廠所需的冷卻水。
環境報告裡的資料也印證了這一點。從 2021 年到 2022 年,微軟全球用水量暴增了 34%,達到近 17 億加侖,足以填滿超過 2500 個標準奧運泳池。同期谷歌的用水量也增加了 20%。研究人員認為,這部分暴漲幾乎完全歸因於大模型的軍備競賽。
面對質疑,微軟表示正在研究如何更精準地測量 AI 的能耗與水耗,並重申到 2030 年實現水資源正效益、碳負排放的目標。OpenAI 也表示他們意識到了訓練大模型消耗巨大,正努力提高效率。但當地水務局已經明確表態:微軟未來的新專案,必須先拿出顯著降低峰值用水量的技術方案,否則免談。
為什麼重要
這篇報道把大模型光鮮外表下最現實的一面扯了出來:算力從來不是虛擬的,它紮紮實實地消耗著物理世界的資源。
對普通使用者和開發者來說,這讓我們第一次看清了呼叫 API 背後的真實成本。很多人只關注每千 token 幾美分,卻不知道背後還連著水泵。這種認知普及很可能會倒逼企業更透明地公佈環境資料,甚至促使平臺推出更輕量、更高能效的小模型。
對整個行業而言,這給全球資料中心的建設路線敲了警鐘。過去科技巨頭選址看重電價便宜和稅收優惠,現在散熱水源的承載力成了硬門檻。在同一個地區,資料中心用水一旦威脅到居民用水安全,立刻就會遭遇地方政府的強力反彈。
我們認為,微軟把訓練基地選在氣候涼爽的愛荷華,相比在乾旱的亞利桑那建廠,已經算是一種相對聰明的權衡。但靠外界空氣自然冷卻只能頂住大部分溫和天氣,夏天的峰值用水依然是個死結。接下來誰能在演算法壓縮、液冷架構和迴圈水利用上拿出真本事,誰才能在這場狂飆的算力競賽中跑得長遠。
來源 (3)
- apnews.com(在新分頁開啟)原文apnews.com
- yahoo.com(在新分頁開啟)報導yahoo.com
- english.elpais.com(在新分頁開啟)報導english.elpais.com