仏Kyutaiがリアルタイム音声AI「Moshi」発表、オープンソースで端末上でも動作

Moshiは、仏非営利AI研究所Kyutaiがゼロから開発したオープンソースのリアルタイム音声AIです。わずか200ミリ秒という超低遅延で動作し、クラウドを介さずノートPCのローカル環境でも人間のように滑らかに対話できます。

わずか8名の研究チームが半年間で開発したこのモデルは、発話しながら同時に思考する設計になっており、従来の音声認識・言語モデル・音声合成を順につなぐ構成とは一線を画しています。

何ができるのか

Moshi最大の特徴は、2系統の音声を同時に処理できる点です。AIが話している最中に人間が割り込んで遮ったり、互いの声が重なったりしても自然に聞き取りと応答を継続できます。

感情表現も豊かで、70種類もの感情や話し方のスタイル、多彩なアクセントをカバーしています。プロの声優と協力して作り込まれた音声は非常にリアルで、会話中は音声と同時にテキストも画面上に出力されます。

学習には通常のテキストではなく注釈付きの音声データを直接使用し、TTS技術で生成した10万件の対話データでファインチューニングすることで、声のトーンや微妙なニュアンスを直接理解できるようになっています。

動作環境と公開範囲

MoshiはCPU、CUDA、AppleのMetalバックエンドをサポートしており、一般的なノートPCなどの消費者向け端末で完全にオフライン動作します。外部サーバーに音声を送る必要がないため、プライバシーの保護にも優れています。

Kyutaiはモデルのコードとフレームワークを、極めて緩やかなオープンソースライセンスで完全無償公開すると発表しています。さらに悪用を防ぐため、AI生成音声の電子透かしや検出・追跡技術も合わせて開発しています。

なぜ重要か

大手テック企業がクローズドなリアルタイム音声機能を小出しにするなか、わずか8人のチームが200ミリ秒のリアルタイム対話モデルを作り上げ、オープンソースとして端末上で動かせるようにした意義は大きいです。

カスタマーサポートや対話型キャラクターを開発したいエンジニアにとって、ネットワーク不要で組み込めるMoshiは真っ先に試すべき選択肢になります。あとは一般公開後に、複雑な論理思考や長文の文脈理解が実用に耐えうるかが注目点です。