Blockが音声モデルDessa発表：テキスト介さず会話を耳から習得

従来のAI音声アシスタントと話すとき、独特のぎこちなさを感じたことがある人は多いはずです。音声を一度テキストに変換し、大規模言語モデルで回答文を作ってから音声に戻すというパイプラインでは、人間の感情やため息、声のトーンといった重要な情報がごっそり抜け落ちてしまいます。

Jack Dorsey氏率いるBlockの研究チームは、この常識を覆すリアルタイム音声モデル「Dessa」を発表しました。テキストを介する処理や事前学習モデルに一切頼らず、人間同士の生の会話音声をひたすら耳で聞くことだけで、言葉や文脈、感情表現を学習したネイティブな音声対話モデルです。

テキストなしでため息や笑い声を覚えたAI

Blockはブログで、音声をテキストに変換して感情情報を捨てる現行の音声AIは不自然で、場合によっては危険ですらあると指摘しています。ElevenLabs v4やFish Audio Drama 3のようにタグ付けで感情を演出する仕組みとは異なり、Dessaは声そのもののデータから感情を内在的に獲得しています。

OpenAIのGPT-Liveと同様に、Dessaは聞きながら同時に話せる「全二重通信」に対応しています。人間が発話の途中で割り込んでも自然に相づちを打ち、文脈に合わせて笑ったり、ため息をついたり、時には泣き崩れそうな声色に変化させたりします。デモでは、マイクから離れて話す人間に対して「遠くて聞こえにくいからもっと近づいて」と指摘する場面もありました。

さらに驚くべきは動作環境です。Blockによれば、訓練はNvidia GP200のGPUラック1基のみで完了したとされ、推論もM4 Max搭載のMacBookなどの一般向けPCでローカル動作します。現在、一般ユーザー向けのアクセスは開放されておらず、悪用リスクなどを検証するためAI安全研究者向けに限定してテスト申請を受け付けています。

なぜ重要か

私たちは、Dessaが示した「テキストを経由しない音声対話」というアプローチが、今後のエージェント開発に大きな一石を投じたと考えています。

利用者や開発者の視点では、クラウドを介さず一般PC上で完結する超自然な音声モデルは、遅延ゼロのローカルアシスタントを実現する鍵になります。BlockはSquareを通じて飲食や小売店向けソリューションを手がけており、注文受付などを安価なオンデバイスAIに置き換えられれば、運用コストは劇的に下がります。

一方で課題もはっきりしています。会話音声のリスニングだけで対話を覚えたモデルは、膨大なテキスト知識を蓄えたLLMに比べて、複雑な論理推論や事実関係の正確さで劣る可能性があります。また、呼吸や感情まで本物の人間そっくりに再現できるため、なりすまし詐欺や人機誤認のリスクは跳ね上がります。Blockが一般公開を急がず、安全研究者への限定提供にとどめた判断は極めて妥当と言えます。