Ai2, 행성 단위 위성 AI 추론 인프라 'OlmoEarth 플랫폼' 공개

대규모 위성 데이터를 다루는 인공지능은 텍스트 몇 줄을 처리하는 거대언어모델과는 완전히 다른 엔지니어링을 요구합니다.

대륙 단위의 지구 관측 데이터를 처리할 때는 수십 테라바이트에 달하는 이미지를 다뤄야 하며, 정작 모델을 돌리는 시간보다 각기 다른 기관의 위성 데이터를 내려받고 정렬하는 데 훨씬 더 많은 시간이 걸립니다.

앨런 인공지능 연구소(Ai2)는 이러한 문제를 해결하기 위해 대규모 위성 추론 인프라인 'OlmoEarth Platform'을 공개했습니다. 약 10테라바이트의 멀티모달 위성 데이터로 사전 학습된 OlmoEarth 파운데이션 모델을 대륙 전체 규모에서 약 하루 만에 추론할 수 있도록 지원하는 시스템입니다.

4700시간 걸리던 작업을 하루 만에 처리

Ai2는 10년 이상 환경 관제 플랫폼을 운영하며, 산림 벌채나 산불 위험을 감시해야 할 정부 기관과 비영리단체에 대규모 분산 컴퓨팅 인프라를 다룰 엔지니어링 팀이 턱없이 부족하다는 점에 주목했습니다.

위성 이미지는 촬영 기관마다 해상도와 좌표계가 다르고 구름에 가려지는 경우도 많습니다. 이를 값비싼 GPU에서 바로 처리하면 연산 자원이 낭비되기 때문에, 연구진은 작업을 세 단계로 분리했습니다.

첫 단계에서는 CPU가 대용량 입출력을 맡아 이미지를 가져오고 규격화합니다. 두 번째 단계에서는 GPU가 순수 모델 추론만 전담하며, 마지막 단계에서 다시 CPU가 각 구역을 매끄럽게 이어 붙여 GeoTIFF나 GeoJSON 형식으로 지도 데이터를 완성합니다.

최근 진행된 북미 전역의 산불 위험 지도 제작에서는 피크 기준 약 1만 9600개의 CPU와 994개의 GPU가 병렬로 투입되었습니다. 네트워크 대역폭은 초당 168GB를 넘겼으며, 단일 연산 기준 4737시간이 걸릴 작업을 약 30.5시간 만에 끝내 155배의 가속을 달성했습니다. 처리 비용은 제곱킬로미터당 1센트 미만 수준으로 낮아졌습니다.

필요한 픽셀만 골라 읽는 인덱싱 기술

대규모 위성 추론의 또 다른 병목은 메타데이터 조회입니다. 대륙 단위 작업을 돌릴 때 수천 건의 쿼리가 한꺼번에 쏟아지면 공공 위성 데이터 카탈로그 서비스가 마비될 수 있습니다.

Ai2는 자체 메타데이터 인덱스를 구축해 이를 해결했습니다. 클라우드에 새 위성 데이터가 올라올 때 알림을 받아 조용히 인덱스를 갱신해 둡니다. 그리고 실행 시점에는 클라우드 최적화 형식(COG, Zarr)을 이용해 전체 이미지를 내려받지 않고 필요한 범위의 픽셀만 부분적으로 읽어옵니다.

또한 모든 작업 단위가 재시도 가능하도록 설계되어 데이터 누락이나 인스턴스 오류가 발생해도 시스템이 자동으로 다른 소스를 찾아 복구합니다.

왜 중요한가

산림 감시와 식량 안보, 재난 대응을 연구하는 공공 조직 입장에서 이번 인프라는 진입 장벽을 근본적으로 낮춥니다. 그동안 고성능 지리공간 AI가 나와도 이를 광범위한 실제 지역에 적용하려면 막대한 클라우드 비용과 파이프라인 개발 부담이 따랐지만, 제곱킬로미터당 1센트 미만의 비용과 하루 단위의 처리 속도 덕분에 실질적인 정기 모니터링이 가능해졌습니다.

산업적 관점에서도 모델 파라미터 크기에만 매달리는 경쟁에서 벗어나, 데이터 수집과 전처리 병목을 해결하는 엔지니어링의 중요성을 명확히 보여준 사례라고 봅니다. 복잡한 다중 스펙트럼 데이터와 좌표 왜곡을 효율적으로 다루지 못하면 아무리 똑똑한 모델도 연구실 밖을 벗어날 수 없기 때문입니다.

다만 현재 플랫폼은 사용자가 직접 작업을 실행하는 배치 처리 구조에 가깝습니다. Ai2가 밝힌 대로 위성이 새 사진을 찍었을 때 자동으로 변화를 감지해 위험 경보를 울려주는 완전 자동화 파이프라인이 안착되어야만, 사후 분석용 지도를 넘어선 실시간 조기 경보 플랫폼으로 완성될 것으로 보입니다.