Ai2、地球規模の衛星画像AI推論基盤「OlmoEarth Platform」を公開

地球規模のAI推論は、数メガバイトのテキストを処理する一般的なLLMとは次元が異なります。

衛星データを使った機械学習では、1回の実行で数十テラバイトの画像を行き来させる必要があり、モデルの推論そのものよりデータの取得や前処理に時間がかかるのが長年の課題でした。

米アレン人工知能研究所（Ai2）は、同所の地球観測基盤モデルを大陸規模で動かすための分散推論基盤「OlmoEarth Platform」を公開しました。約10テラバイトのマルチモーダル衛星データで事前学習したモデル群を活用し、大陸全体の推論を約1日で完了させます。

4700時間の処理を1日に短縮

Ai2は10年以上にわたり環境監視システムを運用してきた経験から、環境分野の政府機関やNGOには、テラバイト級のデータを処理する高度なエンジニアリング部隊が不足しているという現実に直面してきました。

衛星画像は提供元ごとに解像度や投影座標系が異なり、雲の映り込みも激しいため、高価なGPUでそのまま処理すると無駄な待機時間が発生します。そこでプラットフォームは処理を3段階に分離しました。

まずCPUが高負荷I/Oで画像をダウンロードし正規化を行います。次にGPUが推論のみを実行し、最後に再びCPUが各領域をシームレスに結合してGeoTIFFなどの形式に出力します。

北米全域の山火事リスクマップを作成したテストでは、最大1万9600基のCPUと994基のGPUを並列稼働させました。ネットワークスループットは毎秒168GBを超え、本来なら直列で約4737時間かかる計算を約30.5時間に短縮しました。これは155倍の高速化であり、1平方キロメートルあたりの推論コストは1セントの端数にまで抑えられます。

必要な画素だけを部分読み込み

大規模な推論ジョブでは、外部の公開カタログAPIに大量のクエリが集中してサービスを停止させてしまう問題もあります。

Ai2はこれに対応するため独自のメタデータインデックスを保持し、AWS Open Dataなどの通知機能を使ってバックグラウンドで情報を更新しています。推論時にはCOGやZarrといったクラウド最適化形式を活用し、画像全体を落とさず必要な領域のデータのみを部分取得します。

さらに、タスクは失敗しても安全に再試行できる設計になっており、雲による欠損や通信障害が発生しても自動でリカバリーが行われます。

なぜ重要か

森林伐採の監視や食糧安全保障に取り組む非営利団体にとって、この基盤の実用的な価値は非常に大きいといえます。これまで衛星基盤モデルを広域で動かすには膨大な計算資源とインフラ構築力が必要でしたが、平方キロメートルあたり1セント未満という水準までコストが下がったことで、資金力の限られた現場でも定期的な観測が可能になります。

業界全体から見ても、モデルのパラメータ数競争にとどまらず、泥臭いデータパイプラインを垂直統合したAi2のアプローチは極めて現実的です。どれほど賢いモデルでも、数十テラバイトの前処理に数週間かかっていては災害対策や環境保全の現場で役に立ちません。

一方で、現時点ではバッチ処理の高速化が中心であり、どこまでリアルタイムな事象検知に対応できるかは今後の課題です。Ai2は今後、新しい衛星画像の取得をトリガーとした自動実行やアラート機能を計画しているとしており、真にプロアクティブな監視網になれるかどうかが試されると私たちは考えます。