SenseTime、コード生成で動画を作る「SenseNova 6.8 Code-to-Video」をオープンソース公開

従来の動画生成AIで動画を作ったことがある人なら、誰しもガチャを回すようなもどかしさを感じたことがあるはずです。全体のトーンや動きは完璧なのに、画面の隅のテキストだけが不自然に歪んでいる。その文字を直すためだけに再プロンプトを投げてガチャを引き直すと、せっかく気に入っていた背景やカメラワークまで別物に変わってしまいます。

SenseTimeはこの課題にまったく異なるアプローチで挑む「SenseNova 6.8 Code-to-Video」をオープンソースで公開しました。ピクセルを直接確率的に描画するのではなく、実行可能なコードを生成し、プログラムによって動画の各フレームを正確にレンダリングする仕組みです。

動画をコードとして組み立てるアプローチ

わかりやすく言えば、数学解説動画などで使われるManimやHyperFramesのような仕組みをAIに自律実行させています。動画内のすべての要素はコード上の名前付きオブジェクトとして定義され、文字はそのまま正確に出力され、物体の軌道や衝突も方程式に基づいて計算されます。

各フレームが時間tの関数として厳密に描画されるため、数式やデータの表示が崩れる心配がありません。公開された90秒のプロモーション映像をはじめ、空港の反転フラップ式案内板や幾何学アニメーション、教育系解説動画など、すべてこのモデル自身が書いたコードで描画されています。

最大の強みは修正のしやすさです。例えば案内板の動きを作った後にデザインやテンポを少し変えたい場合、追加の指示を短く出すだけで済みます。モデルは既存のプロジェクトコードの該当箇所だけをピンポイントで書き換え、気に入っていた動きや文字レイアウトを壊すことなく映像をアップデートしてくれます。

55GBの重量級モデルと512Kの広大なコンテキスト

ただし、手元の環境で動かすためのハードルは決して低くありません。

SenseNova 6.8 Code-to-VideoはQwen3.8 27Bをベースに構築されており、モデル容量は約55GBに達します。スムーズに動かすにはハイエンドGPUが必須です。SenseTimeはGitHubおよびHugging Face上でモデル重みを公開し、LightLLMを用いた起動手順も提供しています。

特筆すべきは、512Kという長大なコンテキスト長をサポートしている点です。コンテキスト圧縮技術により、1,000ターンを超える長時間の対話セッションでも過去のコード構造を破綻させずに保持できます。

SenseTimeは単なるアニメーション描画にとどまらず、コードをハブとして画像生成や3Dモデル、既存の動画生成AIを数珠つなぎに連携させるワークフローを見据えています。カメラ位置や三次元座標がすべて数値で記録されるため、世界モデルの学習に必要な高精度なグラウンドトゥルースデータの生成ツールとしても期待されています。

なぜ重要か

私たちは、この方向性は非常に理にかなっていると考えます。拡散モデルによる動画生成はリアルな質感を得意とする一方で、文字の正確さや物理挙動の整合性、そして部分的な修正の難しさが現場導入の大きな壁になっていました。特に教育コンテンツやモーショングラフィックスの現場では、偶発的な美しさよりも確実な再現性と修正性が求められます。

55GBというサイズゆえに、一般ユーザーが普段使いのPCで気軽に試すのはまだ困難ですが、開発者や制作スタジオにとっては十分に検証する価値があります。

すべてをニューラルネットワーク任せにするのではなく、骨組みや制御はコードでガチガチに固め、テクスチャやレンダリングだけを生成AIで補う。こうしたハイブリッドな設計思想こそが、実務で本当に使える動画生成ツールへの最短ルートになるはずです。