跳到正文
IFAI

AI科研

清華交大展示全光晶片 LightGen:生成任務比輝達 A100 快百倍

首次發布 傳播指數 31

上海交通大學與清華大學團隊展示全光計算晶片 LightGen。在影像生成等複雜任務中,其速度和能效比輝達 A100 提升了百倍以上。團隊利用超構表面構建了「光學潛在空間」。不過該晶片目前仍依賴外接雷射器,尚處於實驗室階段。

清華交大展示全光晶片 LightGen:生成任務比輝達 A100 快百倍
圖:singularityhub.com

用 AI 隨手畫幾張圖、做幾段影片,背後耗掉的電可能比你想像的嚇人得多。有研究算過,生成一千張圖片排放的二氧化碳,差不多等於開著燃油車跑了四英里多。

面對這種吞電怪獸,把算力晶片從走電換成走光,一直是業界最想走的一條近路。最近,中國上海交通大學和清華大學的聯合團隊在《Science》上發表了一項新成果,他們做出了名為 LightGen 的全光生成式 AI 晶片。

在生成影像和影片的任務測試中,這枚晶片的執行速度和能效表現,直接跨過了兩個數量級,比輝達的 A100 GPU 快了上百倍,能耗卻低得多。

把兩百萬個神經元塞進指甲蓋

光子計算不是第一天出現,很多拿了大筆投資的初創公司都在做。但過去的光子晶片大多隻能搞搞影像分類、簡單文本生成這類基礎任務,碰上生成式模型就歇菜了。

最大的難點在晶片密度。生成式大模型動輒需要海量引數,而以前的光子晶片最多隻能塞進去幾千個神經元。

LightGen 換了一種思路,研究人員採用三維封裝技術,在僅僅四分之一平方英寸大小的晶片上,集成了超過兩百萬個神經元。

神經元數量拉上去之後,晶片終於能硬啃大尺寸畫面了。它不需要像老式光子晶片那樣把一張圖切成無數個碎片分別處理,而是能直接支援 512 乘 512 畫素的影像輸入,完整保住了畫面各部分之間的全域性關聯。

讓光線自己壓縮出潛空間

熟悉生圖模型的朋友都知道潛空間的概念,演算法得先把複雜的高維資料壓成精簡的核心特徵,再根據提示詞生成新畫面。

研究團隊在這個晶片裡搞出了一個純光學潛空間。他們用幾層超構表面組成光學編碼器,讓全解析度影像的光束穿過去,再接入一組光纖陣列。

光線穿透這些微觀結構時,自然過濾掉了冗餘高階資料,精簡後的特徵直接以光的形式留在光纖裡。裝置另一端放著可根據任務切換的超構表面,隨時把潛空間裡的特徵還原成高解析度影像。

不僅如此,他們還給晶片設計了一套全新的機率表徵訓練方法,讓它不僅能做推理,還能學會生成全新的內容。在實際測試中,這枚晶片不僅跑通了高解析度動物影像生成,還做出了藝術風格遷移,甚至能直接把二維平面圖轉成三維模型。

當然,這塊晶片離量產上機還很遠。它現在必須依賴體積龐大的雷射器和空間光調變器來輸入訊號,核心的超構表面也依賴特種工藝加工,普通的晶片代工廠根本做不出來。

為什麼重要

我們認為,LightGen 最亮眼的地方,在於它證明了光子晶片不是隻能給傳統電子晶片打輔助,它完全有能力獨立啃下生成式 AI 這種極端複雜的模型任務。

從架構上看,研究人員沒有死磕在二維平面上堆元件,而是靠三維堆疊和光學編碼器直接省掉了繁瑣的電光轉換環節。這一步走得相當巧妙,把光速傳播和平行計算的物理優勢發揮到了極致。

但隱患也很顯眼。說白了,光晶片本身雖然小,周圍那一套伺候它的雷射和調變裝置卻依然笨重無比。再加上非標的超構表面工藝,短時間內想指望它走出實驗室、塞進資料中心機架,基本不現實。

對普通創作者和開發者來說,現在顯然不用著急去尋找光子算力。但對輝達等傳統晶片巨頭而言,這類實驗室突破正在敲響警鐘:如果電訊號的功耗牆始終無法突破,下一代生成式基礎設施的底座,很可能會被這束光徹底改寫。

來源 (1)

  1. [1]
    singularityhub.com(在新分頁開啟)原文singularityhub.com

每日 AI 內容精選