Pika、映像・音声同時生成モデル「H3 Flex」をオープンソース公開：わずか6ステップで出力

Pika H3 Flexは、MiniMax-H3をベースに追加学習されたオープンソースの動画・音声生成モデルだ。最大の特徴はその生成速度にあり、わずか6ステップのサンプリング処理で映像と同期した32kHzステレオ音声を同時に書き出すことができる。

解像度はネイティブで480pおよび768pに対応し、21:9のシネマスコープから16:9の横長、9:16や9:21の縦長まで11種類の画面比率をサポートする。生成できる長さは5〜15秒で、フレームレートは24fps。内部のフレームグリッド仕様により、5秒指定時は124フレーム（約5.17秒）、15秒指定時は362フレーム（約15.08秒）が出力される。

2種類のアダプターによる高度な制御

本モデルは汎用のサンプリング方式ではなく、独自に調整された6ステップのノイズ除去スケジュールを採用している。中核となるのは「FL2VA」と「Ref2VA」という2つのタスクアダプターだ。

FL2VAはテキストプロンプトおよび始点・終点フレームの制御を担当する。テキストのみからの生成に加え、最初の1コマや最後の1コマ、あるいはその両方を指定して中間の動きと環境音を補間させることが可能だ。

一方のRef2VAはマルチモーダル参照に特化している。1回のリクエストで最大12件の参照ファイルを受け付け、画像なら最大9枚、動画なら最大3本、独立した音声クリップなら最大3本まで組み合わせられる。参照動画の音声も自動で保持されるため、カメラワークやキャラクターの動きを精密に誘導できる。

動作環境と動かし方

ローカルで動作させるためのハードウェア要件は高い。ダウンロードにはベースコンポーネント約210GBとアダプター約5.5GBが必要となり、十分なストレージ容量が求められる。

公式の検証環境はNVIDIA H100 80GB単体となっている。現在の実装では1つのリクエストを1基のGPUで処理する設計になっており、複数GPUを接続しても単一タスクの分散高速化は行われない。

VRAM不足を防ぐため、Transformerの重みをホストメモリに保持しながら順次転送するCPUオフロード機能も用意されている。転送時間は増えるものの、H100 80GB環境で768p・15秒の長尺クリップを破綻なく完走させることが可能だ。

コードはGitHubリポジトリ「Pika-Labs/Pika-H3-Flex」にてApache-2.0ライセンスで公開され、アダプター重みにはMiniMax H3コミュニティライセンスが適用される。Python 3.12環境、Conda、またはDockerからCLIツール「pika-h3-pro」を実行して利用できる。なお、1080pから4Kへの高解像度化やステム単位の音声分離はPikaのホストAPI限定機能となっている。

なぜ重要か

映像クリエイターやCG制作現場にとって、Pika H3 Flexはラフ制作や絵コンテ検証を劇的に速くするツールになる。従来の数十ステップを要する拡散モデルと異なり、わずか6ステップで映像と効果音が同時に立ち上がるため、試行錯誤のサイクルを高速に回せる。

後処理で音声を別付けする手間を省き、ワンパスで映像と音の一体感を担保できる点も実務的だ。ただし、80GBクラスのハイエンドGPUが実質必須であるため、一般のコンシューマー環境ではなく、潤沢なインフラを持つ制作スタジオやAIエンジニア向けの本格ツールと評価できる。