跳到正文
IFAI

AI科研

IBM 突破共封裝光學技術:大模型訓練提速 5 倍,能耗降 80%

首次發布 傳播指數 31

IBM 公佈共封裝光學(CPO)突破,推出首個聚合物光波導原型。該方案用光路替代伺服器間銅線,能將大模型訓練速度提升最多 5 倍、能耗降低 80% 以上。這項技術已通過全部製造應力測試,意在徹底解決 GPU 等待資料傳輸的空閒痛點。

IBM 突破共封裝光學技術:大模型訓練提速 5 倍,能耗降 80%
圖:thefastmode.com

現在訓練大模型最憋屈的事情,不是買不起卡,而是買了卡卻發現它有一半時間都在「摸魚」。在成千上萬張 GPU 組成的計算集群裡,晶片大部分時間並不是在算矩陣,而是在乾等銅線把上一輪的資料慢吞吞送過來。

IBM 剛剛拿出了一個試圖打破這個瓶頸的方案。他們在紐約奧爾巴尼和加拿大布羅蒙的實驗室裡,做出了一套全新的共封裝光學(CPO)原型模組。說白了,他們想用聚合物光波導把光纖直接接到晶片旁邊,徹底把機架內部那些又粗又慢的銅線換成光路。

讓晶片之間用光速對話

如今的資料中心跨城傳輸早就普及了光纖,但一進機房機架,晶片和電路板之間還是幾乎全靠銅線在跑電訊號。銅線的問題很明顯:距離一旦超過一米,訊號衰減和發熱就會急劇上升,頻寬也死死卡在物理極限上。

IBM 這次做出的關鍵突破,是業界首個公開展示並通過嚴苛製造測試的聚合物光波導(PWG)。他們把這種光波導做到 50 微米的間距,直接跟矽光晶片無縫耦合,而且完全相容現有的標準晶片封裝產線。

更誇張的是,他們已經在實驗室裡把這個間距進一步壓縮到了 18 微米。如果把四層聚合物波導疊在一起,就能在極小的空間內塞進多達 128 個傳輸通道。IBM 表示,在晶片邊緣的「岸線密度」上,這項技術能容納的光纖數量是目前最先進 CPO 技術的整整 6 倍。

換算成實際效能,這種光學結構配合多波長傳輸,能把晶片之間的傳輸頻寬拉高整整 80 倍。原本只能拉一米的伺服器互連線,換成光之後可以輕鬆拉到幾百米遠,而且每根只有頭髮三倍粗的纖維就能跑每秒數 Tb 的資料。

三個月的訓練,壓縮到三週

頻寬上去了,電費和時間卻下來了。按照 IBM 論文裡給出的測算資料,相比傳統的中距離電互連,這套光學方案能把能耗砍掉 5 倍以上。

在模型訓練上,原本需要跑 3 個月的大語言模型,換上 CPO 互連後可能 3 周就能跑完,整體訓練速度最高能提速 5 倍。而且叢集規模越大、GPU 越多,這種提升就越明顯。

省下來的電量同樣驚人。IBM 測算,光是訓練一個標準大模型省下的電力,就相當於 5000 戶美國家庭一整年的用電總和。

為了證明這套東西不是實驗室裡的易碎品,IBM 已經拉著它做完了全套工程應力測試。從零下 40 度一直烤到 125 度,再加上高溼度和反覆的機械彎折,光路都沒有斷裂或丟包。

為什麼重要

我們認為,IBM 這次展示的技術,切中的正是當前大模型軍備競賽最要命的兩個死穴:算力叢集的互連牆與電網承載力。

對於做大模型訓練的基礎設施團隊來說,卡買得再多,通訊一旦卡死就是純粹的浪費。如果這項技術能落地,意味著同樣規模的算力叢集能吐出成倍的吞吐量,原本幾個月的研發週期能縮短到幾週,中小團隊租用叢集的試錯成本也會明顯降低。

在行業層面,這看起來會直接加速光進銅退的節點到來。過去輝達等巨頭靠著 NVLink 和銅纜互連在機架內構築了堅固的生態壁壘,但隨著晶片功耗突破千瓦、機櫃密度逼近極限,銅線的物理視窗期已經非常窄了。IBM 這套方案最大的聰明之處在於採用了聚合物波導和標準封裝流程,如果能順利向代工廠和晶片設計商授權,很可能會倒逼整個硬體供應鏈提前向 CPO 架構遷移。

不過,我們也要看到隱患。從實驗室模組通過測試,到大規模量產並融入商業伺服器,中間還有良品率、光器件長期衰減和整個散熱體系重構的深坑要填。短期內普通開發者還摸不到這項紅利,但資料中心底層通訊從電到光的全面切換,看起來已經不可逆轉了。

來源 (1)

  1. [1]
    thefastmode.com(在新分頁開啟)原文thefastmode.com

每日 AI 內容精選