通用智慧體 JAT 開源：一個模型通吃遊戲與機械臂

JAT（Jack of All Trades）是一個開源的多用途 Transformer 智慧體，目標是用單個模型同時處理強化學習決策、實體控制和基礎圖文任務。

作為對 DeepMind Gato 的開源復現與演進，它讓你不用針對每個場景分別換模型，就能直接執行不同環境裡的互動任務。

它能做什麼

JAT 使用單個網路覆蓋了 157 項訓練任務。

它既能在 Atari 模擬器裡玩復古遊戲，也能在 MuJoCo 連續控制環境中讓虛擬角色運動，還能在 Meta-World 中控制機械臂完成抓取與裝配任務，並在 BabyAI 環境裡聽懂指令完成導航。

除了決策和控制，模型也支援輸入文本與影像，具備初步的語言理解與影像分類能力。

怎麼做到的

JAT 的底層基於 EleutherAI 的 GPT-Neo 架構搭建，核心改進在於專門針對序列決策任務設計的嵌入機制。

模型把環境觀測、獎勵與動作嵌入交錯排列成因果序列。在編碼端，遇到影像輸入就呼叫卷積神經網路，連續數值向量走線性層，離散數值走線性投影，多模態輸入則分別用 GPT-2 分詞器和 ViT 編碼器處理。

訓練時，模型採用行為克隆，並引入了一個巧妙的輔助目標：讓模型在預測動作的同時預測下一步會看到的觀測結果。團隊發現合理權衡這個預測目標能讓整體學習效率明顯提升。

在全部 157 項任務評測中，JAT 取得了專家基準 65.8% 的平均表現。在 BabyAI 環境裡它達到專家的 99.0%，MuJoCo 達到 84.8%，Meta-World 達到 65.5%。在 Atari 57 遊戲集上達到專家的 14.1%，相當於人類水平的 37.6%，並在其中 21 款遊戲中超過了人類。

資源與去哪試

專案已經將模型權重、原始碼以及訓練用的專家策略全部開源，釋出在 Hugging Face Hub 上。

同時開放的還有 JAT 資料集，包含數十萬條由專家策略收集的高質量決策軌跡，支援用 datasets 庫直接載入。

為什麼重要

長期以來，像 Gato 這樣同時具備圖文理解和多環境控制能力的通用具身模型一直停留在閉源論文階段，外部開發者既拿不到權重，也沒有統一的多工決策資料集。

JAT 第一次把模型、專家策略以及數十萬條軌跡資料完整擺到了開源社群面前。對於做多工決策、機器人學習或通用智慧體研究的開發者來說，這是一個極佳的開源基線。

不過，目前它主要依賴基礎行為克隆，效能上限很難突破專家資料本身，多工取樣也是均勻抽樣。但它至少證明了用單一公開網路通吃遊戲、控制與圖文任務完全可行。