Ai2 推出 OlmoEarth 平臺:大洲級衛星影像 AI 推理一天搞定
Ai2 釋出地理空間模型推理平臺 OlmoEarth Platform。它能把大洲規模的衛星影像分析壓縮到約一天完成,每平方公里成本不足一美分。在北美野火風險圖測算中,平臺並行排程 19,600 個 CPU 與 994 個 GPU,將耗時縮短 155 倍。

訓練大模型難,讓大模型在現實世界裡把活幹完,往往更難。
做大語言模型,輸入幾十個字,幾秒鐘就能吐出回答;但如果你的輸入是覆蓋一整片大陸的衛星遙感遙測影像,情況就完全變了。一次作業就要在不同機構的資料庫之間搬運幾十 TB 資料,下載和清洗影像花的時間,甚至比模型推理本身還要長。
針對這個讓人頭疼的工程難題,艾倫人工智慧研究所(Ai2)上線了 OlmoEarth Platform。它是一套專門為地球觀測基模型量身定做的分散式推理基礎設施,目標是在一天左右完成整塊大陸級別的遙感影像推理。
把 4700 小時的硬仗壓縮到一天出頭
很多人只知道 Ai2 訓練開源模型很厲害,但其實他們還運營著 Skylight 和 EarthRanger 等環境監控平臺十多年。他們發現,那些最需要遙感 AI 的政府部門和環保 NGO,根本沒有能力搭建處理動輒幾十 TB 衛星資料的工程基建。
衛星影像的推理極度瑣碎。歐洲航天局、微軟等不同來源的資料,投影方式不同、解析度不一,中間還經常夾雜大片白雲遮擋。如果直接拿昂貴的 GPU 去拉取和清洗資料,大部分算力都被浪費在漫長的網路等待上。
Ai2 的做法是把流水線拆成三段,各用各的硬體。第一段用高 I/O 的 CPU 例項,專門負責抓取資料、對齊重投影並歸一化;第二段把處理好的乾淨切片塞給 GPU,只做模型前向推理,結果直存物件儲存;最後一段再換回 CPU,把成千上萬個視窗拼成一張嚴絲合縫的地圖,匯出成 GeoTIFF 或 GeoJSON。
為了驗證這套系統的極限,Ai2 最近跑了一張覆蓋整個北美洲的野火風險地圖。他們把整張地圖切分成數千個獨立小分割槽,峰值時期同時呼叫了大約 19600 顆 CPU 和 994 顆 GPU,網路吞吐量超過 168 GB/s。
如果單機序列處理,這個任務原本要跑 4737 個小時,差不多兩百多天。而在 OlmoEarth 平臺上,整個任務在 30.5 小時內全部跑完,提速達到 155 倍。折算下來,每平方公里的推理成本只有幾分之一美分。
查雲端切片,別把整張衛星圖搬回家
除了分散式計算,遙感推理最大的隱形卡點是後設資料查詢。一次大任務會瞬間產生上萬次後設資料請求,常常直接把公開的資料介面打崩。
Ai2 的對策是自建後設資料索引。遇到通過 AWS Open Data 託管的資料集,他們就通過 SNS 訊息通知監聽新遙感切片;沒有通知機制的,就每隔幾分鐘輪詢一次上游。這樣就把突發的大流量平攤到了日常。
有了這個索引,系統就能直接對雲原生格式(比如 COG 和 Zarr)執行基於視窗的範圍讀取。模型需要哪幾個畫素,網路就只拉取哪幾個位元組,根本不需要下載一整景數十 GB 的原始衛星底圖。目前系統已經支援 Sentinel-1、Sentinel-2、Landsat 以及 NISAR 等多源遙感資料。
同時,系統裡的每個執行容器都是冪等設計的。遙感資料缺失、雲層遮蔽或者機器假死,系統都會自動識別並換個源重試,不需要工程師半夜爬起來手動運維。
為什麼重要
這套平臺對科研人員、環保機構和農業分析師來說,意義非常直接。以往即使手裡有開源的遙感基模型,想測算一整塊農產區的長勢或者整個亞馬遜雨林的退化,光是算力和資料管道的工程開銷就能勸退絕大多數小團隊。現在他們只需要關心微調任務,把算力和排程甩給成熟的流水線,而且成本已經壓到了每平方公里幾分之一美分,大規模嘗試的門檻被徹底打碎。
從行業角度看,Ai2 這一步走得很務實。很多機構在卷遙感大模型的引數量,但實際上整個賽道的真正瓶頸在工程落地:怎樣處理格式碎片化的多光譜波段、怎樣防雲霧干擾、怎樣低成本吞吐 PB 級資料。Ai2 沒有隻扔一個模型權重了事,而是把過去十年做環境監測系統的工程經驗固化成了基礎設施,這很可能會倒逼其他遙感大模型團隊也從「秀引數」轉向「拼落地工程」。
不過在我們看來,它現在的自動化程度還留有一點遺憾。目前它依然更像一個高效的批處理計算引擎,雖然跑得極快,但依然需要人工配置和觸發。Ai2 接下來計劃加入基於事件的自動觸發和變化警報,比如某片森林一旦出現砍伐痕跡,不用等定期跑圖就能自動報警。只有當這種自動化閉環真正成型時,遙感 AI 才能從一張張事後生成的統計地圖,變成真正守衛地球的即時感測器。
來源 (1)
- huggingface.co(在新分頁開啟)原文huggingface.co