跳到正文
IFAI

AI工具

Ai2 推出 OlmoEarth 平台:大洲级卫星图像 AI 推理一天搞定

首次发布 传播指数 37

Ai2 发布地理空间模型推理平台 OlmoEarth Platform。它能把大洲规模的卫星图像分析压缩到约一天完成,每平方公里成本不足一美分。在北美野火风险图测算中,平台并行调度 19,600 个 CPU 与 994 个 GPU,将耗时缩短 155 倍。

Ai2 推出 OlmoEarth 平台:大洲级卫星图像 AI 推理一天搞定
图:huggingface.co

训练大模型难,让大模型在现实世界里把活干完,往往更难。

做大语言模型,输入几十个字,几秒钟就能吐出回答;但如果你的输入是覆盖一整片大陆的卫星遥感遥测图像,情况就完全变了。一次作业就要在不同机构的数据库之间搬运几十 TB 数据,下载和清洗图像花的时间,甚至比模型推理本身还要长。

针对这个让人头疼的工程难题,艾伦人工智能研究所(Ai2)上线了 OlmoEarth Platform。它是一套专门为地球观测基模型量身定做的分布式推理基础设施,目标是在一天左右完成整块大陆级别的遥感图像推理。

把 4700 小时的硬仗压缩到一天出头

很多人只知道 Ai2 训练开源模型很厉害,但其实他们还运营着 Skylight 和 EarthRanger 等环境监控平台十多年。他们发现,那些最需要遥感 AI 的政府部门和环保 NGO,根本没有能力搭建处理动辄几十 TB 卫星数据的工程基建。

卫星图像的推理极度琐碎。欧洲航天局、微软等不同来源的数据,投影方式不同、分辨率不一,中间还经常夹杂大片白云遮挡。如果直接拿昂贵的 GPU 去拉取和清洗数据,大部分算力都被浪费在漫长的网络等待上。

Ai2 的做法是把流水线拆成三段,各用各的硬件。第一段用高 I/O 的 CPU 实例,专门负责抓取数据、对齐重投影并归一化;第二段把处理好的干净切片塞给 GPU,只做模型前向推理,结果直存对象存储;最后一段再换回 CPU,把成千上万个窗口拼成一张严丝合缝的地图,导出成 GeoTIFF 或 GeoJSON。

为了验证这套系统的极限,Ai2 最近跑了一张覆盖整个北美洲的野火风险地图。他们把整张地图切分成数千个独立小分区,峰值时期同时调用了大约 19600 颗 CPU 和 994 颗 GPU,网络吞吐量超过 168 GB/s。

如果单机串行处理,这个任务原本要跑 4737 个小时,差不多两百多天。而在 OlmoEarth 平台上,整个任务在 30.5 小时内全部跑完,提速达到 155 倍。折算下来,每平方公里的推理成本只有几分之一美分。

查云端切片,别把整张卫星图搬回家

除了分布式计算,遥感推理最大的隐形卡点是元数据查询。一次大任务会瞬间产生上万次元数据请求,常常直接把公开的数据接口打崩。

Ai2 的对策是自建元数据索引。遇到通过 AWS Open Data 托管的数据集,他们就通过 SNS 消息通知监听新遥感切片;没有通知机制的,就每隔几分钟轮询一次上游。这样就把突发的大流量平摊到了日常。

有了这个索引,系统就能直接对云原生格式(比如 COG 和 Zarr)执行基于窗口的范围读取。模型需要哪几个像素,网络就只拉取哪几个字节,根本不需要下载一整景数十 GB 的原始卫星底图。目前系统已经支持 Sentinel-1、Sentinel-2、Landsat 以及 NISAR 等多源遥感数据。

同时,系统里的每个执行容器都是幂等设计的。遥感数据缺失、云层遮蔽或者机器假死,系统都会自动识别并换个源重试,不需要工程师半夜爬起来手动运维。

为什么重要

这套平台对科研人员、环保机构和农业分析师来说,意义非常直接。以往即使手里有开源的遥感基模型,想测算一整块农产区的长势或者整个亚马逊雨林的退化,光是算力和数据管道的工程开销就能劝退绝大多数小团队。现在他们只需要关心微调任务,把算力和调度甩给成熟的流水线,而且成本已经压到了每平方公里几分之一美分,大规模尝试的门槛被彻底打碎。

从行业角度看,Ai2 这一步走得很务实。很多机构在卷遥感大模型的参数量,但实际上整个赛道的真正瓶颈在工程落地:怎样处理格式碎片化的多光谱波段、怎样防云雾干扰、怎样低成本吞吐 PB 级数据。Ai2 没有只扔一个模型权重了事,而是把过去十年做环境监测系统的工程经验固化成了基础设施,这很可能会倒逼其他遥感大模型团队也从「秀参数」转向「拼落地工程」。

不过在我们看来,它现在的自动化程度还留有一点遗憾。目前它依然更像一个高效的批处理计算引擎,虽然跑得极快,但依然需要人工配置和触发。Ai2 接下来计划加入基于事件的自动触发和变化警报,比如某片森林一旦出现砍伐痕迹,不用等定期跑图就能自动报警。只有当这种自动化闭环真正成型时,遥感 AI 才能从一张张事后生成的统计地图,变成真正守卫地球的实时传感器。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选