AI動画の一貫性を保つ「Mosaic Chunk」公開：画面外の物体も忘れない記憶技術

Mosaic Chunkは、AI動画生成モデルに「長期記憶」を持たせるためのオープンソースシステムだ。被写体が一度画面外に消えると姿かたちが変わってしまう、という動画生成最大の弱点に対処している。

通常の動画生成では、数秒間物体がフレームアウトしただけでモデルはその外見を忘れてしまう。Mosaic Chunkは過去の重要なディテールを選択的に記憶することで、この問題を解消する。

何ができるのか

これまでの全フレームをそのまま保持しようとすると、メモリ消費が破綻してしまう。Mosaic Chunkはすべてのコマを保存するのではなく、初期フレームから有用な特徴情報だけを選別して記憶する仕組みをとっている。

そして、その物体や背景が再び必要になったタイミングで、保持していた情報を呼び出して復元に利用する。

公開されたデモでは、物体が数秒間にわたって完全に隠れたり視界から外れたりしても、再登場時に外見の一貫性が保たれ、シーン全体の破綻も防げていることが確認できる。

仕組みと動かし方

プロジェクトではソースコードとモデルの重みがすでにオープンソース公開されており、ローカル環境で動かすための手順も用意されている。

用途に合わせて2つのバージョンが提供されている点に注意したい。Text-to-Video（テキストから動画）版は「MiniMax H3」をベースにしており、Image-to-Video（画像から動画）版は「Ling World Infinity」をベースに構築されている。

試してみたい場合は、プロジェクトページのコードボタンから下部にスクロールすれば、手元のPCへダウンロードして実行する手順を確認できる。

なぜ重要か

AI動画が本格的な映像制作に使えるかどうかは、単フレームの美しさよりもカット間の連続性にかかっている。コンテキスト長を力任せに伸ばすのではなく、必要な特徴だけを呼び出す記憶機構を組み込んだアプローチは非常に合理的だ。

オープンソースの動画生成モデルをローカルで動かしているクリエイターやエンジニアなら、キャラクターの崩れを防ぐ手段として今すぐ試す価値がある。