Meta、約100言語の音声・テキスト翻訳に対応する「SeamlessM4T」をオープンソース公開
Metaは音声とテキストの相互翻訳に対応したマルチモーダルAI「SeamlessM4T」を発表した。約100言語の音声認識やテキスト翻訳に加え、36言語への音声対音声翻訳を単一モデルで処理する。研究ライセンスで一般公開され、27万時間の音声・テキスト対照データセットのメタデータも提供される。
Metaは音声とテキストの相互翻訳に対応したマルチモーダルAI「SeamlessM4T」を発表した。約100言語の音声認識やテキスト翻訳に加え、36言語への音声対音声翻訳を単一モデルで処理する。研究ライセンスで一般公開され、27万時間の音声・テキスト対照データセットのメタデータも提供される。
マイクロソフトと米電子カルテ大手のEpicは医療向け生成AIの導入拡大に向けた協業強化を発表した。Azure OpenAI ServiceやNuance DAX Expressをカルテ基盤に組み込み、診療記録の自動要約や診察会話からの書類作成支援を実現。深刻化する医療従事者の疲弊軽減を目指す。
音声AIのElevenLabsはBeta版提供を終了し、28言語に対応する新音声モデル「Eleven Multilingual v2」を公開した。入力されたテキスト言語を自動識別し、話者固有の声質やアクセントを保ったまま、1つの声で複数言語の自然な音声を生成できる。
ElevenLabsは科学動画プラットフォームのScienceCastおよびarXivとの連携を発表した。ScienceCastの自動動画生成ツールにElevenLabsのAI音声合成が組み込まれ、arXivの論文を3〜5分の音声付き要約動画に変換できる。膨大な論文を効率よくインプットできる。
Take-Twoが『GTA 5』向け生成AI Mod「Sentient Streets」に対しDMCA削除要請を行い、Nexus ModsやYouTubeから関連データが排除された。Inworld AIとElevenLabsを使ってNPCと自由に音声会話できる仕組みだったが、開発者によると事前の連絡はなく突然削除されたという。
ElevenLabsはInworldとの提携を発表し、同社の音声合成技術をInworldのAI NPCプラットフォームに統合した。開発者はゲーム内の状況やプレイヤーとの対話に合わせてリアルタイムに適応する、より自然で表現力豊かなキャラクター音声を生成できるようになる。
D-IDとElevenLabsは提携を発表し、D-IDの動画生成スタジオ「Creative Reality studio」にElevenLabsの高品質音声を導入した。Proプランの利用者はアバター動画の作成時に9種類の厳選音声と4種類の表情表現を一括で指定でき、より自然な発話動画を簡単に作れる。
OpenAIが米国特許商標庁(USPTO)に「GPT-5」の商標登録を出願したことが明らかになった。出願範囲は自然言語処理、音声認識、テキスト生成、人工ニューラルネットワーク開発など多岐にわたる。ただしサム・アルトマンCEOが安全性監査に時間が必要と述べている通り、新モデルがすぐ登場するわけではない。
ニュースアプリ「Artifact」はSpeechifyと提携し、AIによる記事の音声読み上げ機能を提供開始した。スヌープ・ドッグらを含む30種類以上の英語音声を用意し、最大4.5倍速やバックグラウンド再生に対応する。現在はiOS版で利用可能で、Android版も近日公開予定。
Metaはインド電子情報技術省傘下の「India AI」と覚書を締結したと発表した。Llamaなどのオープンソースモデルを現地の研究者やスタートアップに開放し、多様なインド現地語のデータセット構築や卓越拠点の設置を通じて地域AIエコシステムを支援する。
Spotifyのダニエル・エクCEOは決算説明会で、AI DJに続き生成AIを活用した機能拡張を予告しました。新規リスナー向けポッドキャスト要約や、広告主が数千パターンの音声広告を低コストで作成・テストできる機能などを検討中です。感情や皮肉、囁き声を再現する新たな音声合成特許も公開されています。
Twitch上でAI版トランプ氏とAI版バイデン氏がエンドレスに討論するチャンネル「trumporbiden2024」が開設された。音声や身振りを真似つつ荒唐無稽な罵倒を交わし、視聴者を煽る様子に10万人以上が集まった。
米国の開発者がChatGPTと音声合成を組み合わせ、迷惑電話や詐欺電話の相手をして時間を浪費させるサービス「Jolly Roger」を提供中。おしゃべりな老人など多彩な性格を用意し、最大15分間電話を引き延ばして撃退する仕組みで、年額25ドルで利用できる。
ElevenLabs が音声ライブラリ「Voice Library」の提供を開始しました。ユーザーはプロンプトによる音声生成や自身の声のクローン作成に加え、ライブラリ内の多様な声線を選んでポッドキャストや動画のナレーションに活用できます。
YouTubeはVidConにて、GoogleのインキュベーターArea 120発のAI吹き替えチーム「Aloud」を統合すると発表した。動画の自動文字起こし、翻訳、音声合成を一括で行う仕組みで、現在は英語、西語、ポルトガル語で数百人のクリエイターとテスト中。2024年には本人の声の再現や口パク合わせも予定する。
オールイングランド・クラブはIBMと提携し、今年のウィンブルドン選手権のハイライト動画にAIによる音声解説と字幕を導入すると発表した。IBMのwatsonxを活用し、追跡データからテニス特有の語彙を用いた解説を生成する。公式アプリとウェブサイトで提供される。
Metaは多目的音声生成AI「Voicebox」を発表した。わずか2秒の音声サンプルから話者のスタイルを再現して読み上げるほか、英語など6言語に対応。犬の鳴き声などのノイズ部分を消して自然に再生成する編集も可能だ。
ElevenLabsは自社AI音声の検出ツール「AI Speech Classifier」を公開した。ログイン不要で音声や動画をアップロードすれば、最初の1分間を解析して自社技術による生成確率や類似する音声を提示する。ただしEleven v3で生成された音声の判定精度にはまだ課題が残る。
Mercedes-Benz は Microsoft Azure OpenAI Service を通じて ChatGPT を MBUX 音声アシスタントに統合するテストを米国で開始した。車両の操作に加え、目的地周辺の情報や日常会話にも柔軟に応答できるようになる。音声データは匿名化処理される。
Microsoftは、Bing Chatで音声コマンドによる入力と音声読み上げ機能の提供を開始した。ユーザーはマイクアイコンを押して話しかけることができ、英語、中国語(普通話)、フランス語、ドイツ語に対応する。あわせて1回の会話上限を従来の20から30ターンに、1日の上限も300ターンに引き上げた。