MIT、動画と音声を1000語で結びつけるマルチモーダルAIを開発

人間は目にしたものと耳にした音を自然に結び付けられます。走ってくる車を見れば、その走行音と映像が同じ対象だと瞬時に理解できます。しかし機械にとって、映像のピクセルと音声の波形という全く異なる形式のデータを一致させる作業は極めて困難でした。

マサチューセッツ工科大学（MIT）コンピュータ科学・人工知能研究所（CSAIL）の研究チームは、映像と音声、テキストの間で共有される概念を人間のラベル付けなしに自律学習するAIモデルを開発しました。

1000語の制約で映像と音声を同じ空間にマッピング

今回の手法の中核にあるのは表現学習です。従来の機械学習ではモダリティごとに別々の空間でデータを処理することが一般的でした。

CSAILの大学院生アレクサンダー・リュー氏を中心とする研究チームは、映像と音声のデータを同一の共有埋め込み空間に配置するアプローチを採用しました。似た概念を同じベクトルとしてクラスタ化する仕組みです。

ユニークなのは、モデルがベクトルに割り当てられる単語数を1000語だけに厳しく制限した点です。どの概念を登録するかはAI自身が判断しますが、枠は1000個しかありません。

たとえば豚の映像を見れば「pig」という単語のベクトルに割り当て、音声で「pig」という発音を聞いたときも同じベクトルに誘導します。これにより、赤ちゃんが泣いている映像と「crying」という発話音声が自動的に結び付きます。

なぜその動画を選んだのかがひと目でわかる

研究チームは、映像とテキスト、映像と音声、静止画と音声の3種類のデータセットを使って検索精度を検証しました。音声によるクエリを入力すると、意図に合致する動画クリップを他の既存モデルより高い精度で探し出せました。

さらに実用面で大きな強みなのが、判断の透明性です。

モデルが1000個の離散的な単語しか使えないため、機械がどの単語を根拠にして音声と映像を結び付けたのかを人間が直接確認できます。AIがブラックボックス化しない構造になっています。

ただし現時点では限界もあります。現実の人間は視覚や聴覚など複数の感覚を同時に処理していますが、現在のモデルは一度に2つのモダリティしか扱えません。データセット内の物体や動作も単純なものに限られており、雑多な現実環境で1000語がどこまで通用するかは今後の検証課題です。

なぜ重要か

私たちは、この研究の最大の賢さはあえて強い制約を課したことにあると考えています。パラメータ数や潜在空間の次元をひたすら拡大させるトレンドの中で、離散的な1000語という枠を設けることで、高い検索精度と透明性を同時に手に入れています。

マルチメディア検索や動画管理を扱うエンジニアにとって、説明可能性の高さは強力なメリットです。従来のブラックボックスな埋め込みモデルでは、検索結果が狂った際にどこが原因なのか特定するのが困難でした。中間に明示的な単語が挟まるだけで、エラーの切り分けが格段にやりやすくなります。

ロボット工学の観点からも興味深いアプローチです。自律型ロボットが現実世界を把握するには、人間が発した指示音声とカメラ映像の一致を大量のラベル付けなしで学ぶ必要があります。

もちろん、1000語という語彙規模のままでは現実の複雑な業務に今すぐ投入することはできません。それでも、マルチモーダルな概念の統合を軽量かつ監査可能な形で実現する道筋として、注目に値する成果だと見ています。