通用智能体 JAT 开源：一个模型通吃游戏与机械臂

JAT（Jack of All Trades）是一个开源的多用途 Transformer 智能体，目标是用单个模型同时处理强化学习决策、实体控制和基础图文任务。

作为对 DeepMind Gato 的开源复现与演进，它让你不用针对每个场景分别换模型，就能直接运行不同环境里的交互任务。

它能做什么

JAT 使用单个网络覆盖了 157 项训练任务。

它既能在 Atari 模拟器里玩复古游戏，也能在 MuJoCo 连续控制环境中让虚拟角色运动，还能在 Meta-World 中控制机械臂完成抓取与装配任务，并在 BabyAI 环境里听懂指令完成导航。

除了决策和控制，模型也支持输入文本与图像，具备初步的语言理解与图像分类能力。

怎么做到的

JAT 的底层基于 EleutherAI 的 GPT-Neo 架构搭建，核心改进在于专门针对序列决策任务设计的嵌入机制。

模型把环境观测、奖励与动作嵌入交错排列成因果序列。在编码端，遇到图像输入就调用卷积神经网络，连续数值向量走线性层，离散数值走线性投影，多模态输入则分别用 GPT-2 分词器和 ViT 编码器处理。

训练时，模型采用行为克隆，并引入了一个巧妙的辅助目标：让模型在预测动作的同时预测下一步会看到的观测结果。团队发现合理权衡这个预测目标能让整体学习效率明显提升。

在全部 157 项任务评测中，JAT 取得了专家基准 65.8% 的平均表现。在 BabyAI 环境里它达到专家的 99.0%，MuJoCo 达到 84.8%，Meta-World 达到 65.5%。在 Atari 57 游戏集上达到专家的 14.1%，相当于人类水平的 37.6%，并在其中 21 款游戏中超过了人类。

资源与去哪试

项目已经将模型权重、源代码以及训练用的专家策略全部开源，发布在 Hugging Face Hub 上。

同时开放的还有 JAT 数据集，包含数十万条由专家策略收集的高质量决策轨迹，支持用 datasets 库直接加载。

为什么重要

长期以来，像 Gato 这样同时具备图文理解和多环境控制能力的通用具身模型一直停留在闭源论文阶段，外部开发者既拿不到权重，也没有统一的多任务决策数据集。

JAT 第一次把模型、专家策略以及数十万条轨迹数据完整摆到了开源社区面前。对于做多任务决策、机器人学习或通用智能体研究的开发者来说，这是一个极佳的开源基线。

不过，目前它主要依赖基础行为克隆，性能上限很难突破专家数据本身，多任务采样也是均匀抽样。但它至少证明了用单一公开网络通吃游戏、控制与图文任务完全可行。