Tencentが「混元Hy4」発表：BlenderやCADも直接操作できるマルチモーダルAgent

AIにコードを書かせるだけにとどまらず、画面を見ながら専用の3Dソフトを自律操作させる試みが本格化しています。

TencentはマルチモーダルAgentモデル「混元Hy4」の正式版を公開しました。視覚理解とComputer Use機能を大幅に強化し、画面を見て自律的に作業をこなすエージェントへと進化させています。

BlenderやCADを直接操作、研究データも可視化

混元Hy4は画像や図表、衛星写真を分析するだけでなく、GUIとコマンドラインを併用して各種ソフトウェアを直接操作できます。特にBlenderやCADといった専門ツールに向けた特化トレーニングが施されています。

デモでは、Blenderを操作して建物全体を再構築したり、Three.jsを用いて精細な3D環境を作成したりする様子が示されました。金融モデリングや株式リサーチなどのナレッジワークに加え、約700万個の細胞データからわずか1時間半で3Dマウス胚を再構築する実験結果も公開されています。

現在はAPIが提供されており、Tencentの無料エージェント実行環境WorkBuddyからも利用可能です。重み自体も数日中にオープンソース化される予定です。

なぜ重要か

重みが予定通り公開されれば、企業がComputer Useや高度な画像認識を備えたAgentを自社環境にローカル配備する際、海外のクローズドモデルに頼らない強力な選択肢となります。

BlenderやCADのような専門ツールの操作に焦点を当てたアプローチは、現場の実務自動化という観点で非常に理にかなっています。長時間の連続タスクにおいてGUI操作のミスをどこまで抑えられるかが、実運用の分かれ目になりそうです。