本文へスキップ
IFAI

オープンソース

容量わずか 164MB:超軽量音声認識モデル「Phonon-2」が公開

公開 拡散指数 48

Fermion Research が英語音声認識モデル「Phonon-2」をオープンソースで公開した。ダウンロード容量はわずか 164MB ながら単語誤り率 5.21% を達成し、M5 MacBook Air であれば 1 時間の音声を約 20 秒でテキスト化できる。

容量わずか 164MB:超軽量音声認識モデル「Phonon-2」が公開
画像:huggingface.co

Phonon-2 は、Fermion Research がオープンソースで公開した超軽量の英語音声認識モデルです。モデルのダウンロード容量はわずか 164MB で、ローカル環境やエッジデバイス上で軽快に動作するように設計されています。

外部のクラウドに音声を送りたくない場合や、ストレージやメモリを圧迫せずに端末内で文字起こしを完結させたいときに最適な選択肢となります。Mac 向けの音声入力アプリ「Detta」でも、内部エンジンとしてこのモデルが採用されています。

何ができるのか

わずか 164MB というサイズながら、Phonon-2 の認識精度は大型モデルに引けを取りません。

本モデルは NVIDIA の 2.5GB モデル「parakeet-tdt-0.6b-v3」をベースに最適化されたもので、容量を約 15 分の 1 に削減しています。Open ASR Leaderboard の英語 7 データセットにおける平均単語誤り率は 5.21% で、元のベースモデルの 4.96% に迫る精度を維持しています。議会演説のデータセットでは元のベースモデルに対して 100.8% の単語精度を記録し、会議音声の認識テストでは元の 2.5GB モデルを上回る成績を出しました。

他の著名なモデルと比較しても優秀です。1.6GB の Whisper large-v3-turbo は誤り率 6.58%、約 8GB の Voxtral Mini 4B Realtime は 6.12%、前世代の Phonon-1(415MB)は 6.56% でした。900MB 未満のオープンな英語音声認識モデルとして、Phonon-2 は現在トップクラスの認識精度を誇ります。

処理速度も非常に高速です。M5 搭載 MacBook Air では、1 時間の音声をわずか約 20 秒でテキスト化でき、実時間の約 174 倍速に達します。8 コアの Zen 5 CPU(16 vCPU)環境でも 143 倍速で処理でき、H100 GPU 1 基を用いたバッチ処理では実時間の 6680 倍速まで引き上げられます。

どう動かすのか

Phonon-2 はローカルで手軽に動かせるよう幅広い環境に対応しています。

Apple Silicon 端末では MLX 経由で手軽に実行できるほか、Neural Engine 向けに最適化された Core ML 版も用意されています。コマンドラインからオプションを指定すれば、単語ごとの開始・終了時刻を含んだ JSON 形式での出力も可能です。

さらに Android(arm64-v8a)向けに C ヘッダ付きのライブラリが公開されているほか、Linux や Windows の CPU 環境、Docker を用いた GPU 環境にも対応しています。

ライセンスは、モデルの重みファイルが元のベースモデルと同じ CC-BY-4.0、CLI ツールおよびリポジトリコードが Apache 2.0 です。Hugging Face Spaces 上には無料のデモも用意されており、ブラウザ上ですぐに挙動を試せます。

なぜ重要か

Phonon-2 は、高精度な音声認識のために必ずしも数ギガバイトの重いモデルを積む必要がないことを示しました。これまでローカル文字起こし機能をアプリに組み込む際、開発者は精度の低い極小モデルか、メモリとバッテリーを激しく消費する Whisper 系の大型モデルかの二者択一を迫られていました。

オフラインでの音声メモ、字幕生成、議事録ツールを開発しているなら、今すぐ試す価値があります。エントリークラスのノート PC やスマートフォン上でも、バッテリーを気にせず一瞬で文字起こしが完了します。ただし、対応言語は英語に特化しているため、多言語の文字起こしを必要とする場合は既存の大規模モデルを使い分ける必要があります。

情報源 (1)

  1. [1]
    huggingface.co(新しいタブで開きます)原文huggingface.co

毎日のAIピックアップ