アリババ、音声や映像にネイティブ対応した「Qwen3-Omni」をオープンソース公開

Qwen3-Omniは、テキスト、画像、音声、動画を単一モデルに統合した、アリババのオープンソース型エンドツーエンド全モダリティモデルです。

音声認識や音声合成を外付けで繋ぎ合わせるのではなく、モデル自身が音声や映像を直接理解し、音声とテキストをネイティブに出力します。

何ができるのか

最大の特長はその応答速度です。公表された応答遅延は211msで、人間同士がテンポよく会話する感覚に大きく近づいています。

最長30分の連続音声入力に対応し、長時間の会議録音や動画ファイルの解析もそのまま処理できます。アリババによると、36の音声・音映像ベンチマーク中22項目でSOTA（最高精度）を記録したとのことです。

言語対応も幅広く、テキスト入力は119言語、音声入力は19言語、音声出力は10言語をサポートします。さらにツール呼び出し機能を備えており、システムプロンプトによる対話スタイルのカスタマイズにも柔軟に対応します。

公開されたモデルと試す方法

コードはGitHubで公開されており、モデルの重みデータはHugging FaceとModelScopeからダウンロード可能です。

公開されたのは30B規模のモデル群で、通常対話用のInstruct版、推論に特化したThinking版、ハルシネーションを抑えたCaptioner版の3種類が用意されています。プラットフォーム上の表記では、実際のパラメータ数は32Bから35B規模です。

手軽に試したい場合は、Hugging Face Spacesに用意されたオンラインデモや、Qwen Chatで提供されているFlash版ですぐに動作を確認できます。自前でホストする場合は、30B規模のマルチモーダル処理と音声ストリーミングを支えるため、大容量VRAMを搭載したGPU環境が必要です。

なぜ重要か

音声アシスタントや対話型エージェントを自社インフラで構築したい開発者にとって、Qwen3-Omniは最有力候補となるモデルです。

低遅延なエンドツーエンド全モダリティ対話はこれまで商用のプロプライエタリ製品が先行していましたが、アリババが30B規模でオープンにし、思考プロセスのThinking版まで揃えたことで、活用の自由度が大きく広がりました。

ただし、音声や動画をリアルタイムで扱うパイプラインは、テキスト単体モデルに比べてサーバーやネットワークの運用難易度が高くなります。実務への組み込みを考えるなら、まずはデモ環境で認識精度や挙動を確かめ、運用コストを慎重に見積もるのが現実的です。