구글, 자연어 한 줄로 지구 데이터 예측하는 'PPE' 공개

특정 지역에 기근이 닥치거나 바이러스가 번지기 시작할 때 가장 치명적인 지연은 연산 능력 부족이 아니라 데이터를 수집하는 과정에서 발생합니다.

인구 통계는 정부 데이터베이스에, 고해상도 위성 사진은 우주 플랫폼에, 현지 곡물 가격은 웹사이트 구석의 문서 파일에 흩어져 있습니다. 전문가들이 이 파편화된 데이터를 손수 모으고 정제해 모델을 훈련하기까지 수주일이 걸렸고, 그사이 위기는 이미 번져버리기 일쑤였습니다.

구글 리서치는 8월 27일, 이러한 병목을 해결하기 위한 실험적 시스템인 '행성 예측 엔진(PPE, Planetary Prediction Engine)'을 공개했습니다. 자연어로 질문 한 줄만 입력하면, AI가 지구 데이터를 스스로 찾아 모델을 만들고 보고서까지 몇 분 만에 뽑아내는 시스템입니다.

수주일의 작업을 수분으로 단축한 3단계 파이프라인

기존의 AutoML 도구들은 이미 깨끗하게 정리된 표 형태의 데이터만 다룰 수 있을 뿐, 전 세계에 흩어진 지리 데이터를 스스로 찾아오지는 못했습니다.

PPE는 대형언어모델(LLM)이 조율하는 3단계 독립 모듈을 통해 이 한계를 뛰어넘었습니다.

첫 번째는 지리 데이터 탐색 단계입니다. 자연어 질의를 공간 및 시간 제약 조건으로 변환한 뒤, Google Earth Engine, Data Commons는 물론 웹 검색까지 활용해 필요한 데이터를 알아서 찾아옵니다.

두 번째는 멀티모달 데이터 정제입니다. 일반 통계 변수뿐 아니라 인구 동태 모델(PDFM)과 위성 영상 임베딩 모델(AlphaEarth)의 특성을 함께 결합합니다. LLM의 컨텍스트 창이 넘치지 않도록 방대한 원본 데이터 대신 핸들 식별자만 모듈 간에 전달하는 방식을 택했습니다.

세 번째 단계에서는 정규화 선형 모델, 그래디언트 부스팅 트리, 다층 퍼셉트론(MLP) 등 다양한 알고리즘 중에서 최적의 조합을 탐색하며 과적합을 방지하고 최종 예측 보고서를 생성합니다.

세 가지 실제 위기 현장에서 거둔 압도적 성과

PPE는 실제 현장 데이터를 활용한 정밀 검증에서도 인상적인 결과를 내놓았습니다.

미국 질병통제예방센터(CDC)의 21개 보건 지표 예측에서 PPE는 평균 R² 76.8%를 기록해, 전문가들이 수작업으로 구축한 기준선인 60.0%를 크게 앞질렀습니다.

데이터가 턱없이 부족한 개발도상국에서도 진가를 발휘했습니다. 나이지리아의 식량 안보 예측에서는 주 단위의 거친 데이터를 세부 행정구역 단위로 세밀화하면서 정확도를 기존 31.5%에서 66.1%로 두 배 이상 끌어올렸습니다.

콩고민주공화국에서 발생한 에볼라 바이러스 확산 추적에서도 뛰어났습니다. 5주간 이어진 주간 예측에서 새로 감염된 18개 보건 구역 중 15개를 정확히 지목해 83.3%의 재현율을 달성했으며, 이는 기존 최첨단 베이지안 모델보다 10.3%포인트 높은 수치입니다.

왜 중요한가

우리는 PPE의 진짜 가치가 모델 훈련의 자동화보다, 지리공간 데이터 분야에서 가장 고되고 비효율적이었던 '데이터 탐색과 정렬'을 자동화한 데 있다고 봅니다.

유엔 세계식량계획(WFP)이나 국제 보건 기구 같은 단체들은 그동안 전 지구적 예측 모델을 하나 만들 때마다 값비싼 전문 엔지니어링 팀에 의존해야 했습니다. PPE는 현장 의사결정권자가 자연어로 가설을 던지기만 해도 몇 분 만에 실질적인 예측 결과를 손에 쥘 수 있음을 보여줍니다.

해석이 쉬운 전통 통계 데이터와 위성 영상을 고차원으로 압축한 파운데이션 모델의 임베딩을 유기적으로 결합한 접근 방식도 매우 영리합니다.

다만 PPE는 아직 구글의 초기 연구 단계 프로젝트로 일반에 공개되지는 않았습니다. 또한 폐쇄망에 갇혀 있거나 디지털화되지 않은 오프라인 현장 데이터까지 AI가 스스로 가져올 수는 없다는 태생적 한계도 있습니다. 그럼에도 위기 대응의 골든타임을 획기적으로 줄일 수 있는 새로운 지평을 열었다는 점은 분명합니다.