2人の研究所Linumが「Pyramid-JiT」を公開、2.1万ドルでゼロから学習

個人や小規模チームが、わずか2万1000ドルの計算費用でゼロから画像生成モデルを学習したと聞けば、多くの研究者は耳を疑うはずです。

しかし、たった2人で構成される研究所Linumがそれを現実にしました。同チームは20億パラメータの画像生成モデル「Pyramid-JiT」をオープンソースとして公開。テキストエンコーダにQwen3.5-4Bを採用し、スクラッチからの学習コストを2.1万ドルに抑え込みました。

数百万ドル規模の資金が飛び交う生成AIの世界において、この数字は異例中の異例と言えます。

VAEを捨て、ピクセル空間で直接描く

Pyramid-JiTの最大の特徴は、現在の主流である画像生成の常識を覆した点にあります。

一般的な拡散モデルは、まずVAE（変分自己符号化器）を使って画像を潜在空間に圧縮し、そこで生成処理を行ってから画像に戻します。しかしLinumは、VAEには圧縮の限界があり、下流の生成精度をかえって落とす原因になると判断しました。

そこで彼らはVAEを完全に排除し、モデルが直接ピクセル空間で動作する仕組みを選びました。つまり、最初から最後まで人間が見えるピクセルそのものを予測しています。

ピクセル空間での膨大な計算負荷をクリアするため、チームは独自のピラミッド型アーキテクチャを導入しました。バックボーンの途中から4分の1や2分の1の解像度で画像を予測する中間出力を設け、ネットワークの前半に強力な勾配シグナルを注入。これによって従来のアーキテクチャに比べ、大幅に少ないステップ数での高速な収束を実現しました。

64基のH100を使用し、512ピクセル級で約6.1億サンプル、続く1024ピクセル級で約5000万サンプルを学習。後学習に最新のフロー最適化技術を組み合わせ、2.1万ドルの予算内で形にしました。

割り切った設計と残る課題

公開されたデモを見ると、写実的なポートレートや自然風景、イラスト風の描写は驚くほど高品質です。ただし、小規模かつ低予算ゆえの明確な弱点もあります。

まず、このモデルは画像内の文字を一切描けません。Linumの最終目標はアニメーション制作ツールの開発であるため、データセットからインフォグラフィックや本のページなど文字主体の画像を徹底的に排除したからです。

また、全身の構図で手足が崩れやすかったり、大勢の群衆や複雑な複数物体の相互作用、世界の一般常識を反映する場面では破綻が見られます。

それでも公開姿勢は極めてオープンです。Hugging Face上のモデル容量は約8.74GBで、商用利用可能なApache 2.0ライセンスで提供されており、一般的な一般向けGPUでもローカル実行が可能です。

なぜ重要か

個人開発者や小規模スタジオにとって、Pyramid-JiTが示した最大の意義は、拡散モデルを自前でゼロから学習するハードルを一気に現実的な水準まで引き下げたことです。2.1万ドルという金額は、明確な用途と良質なデータさえあれば、大企業の巨大モデルを借りずに自社専用の基盤モデルを持てる可能性を示しています。

業界全体にとっても、脱VAEとピクセル空間直接生成の有効性を証明したインパクトは小さくありません。潜在空間への依存を疑い、中間層での多重解像度予測によって効率を高めた設計は、既存の生成パイプラインの常識に一石を投じるものです。

私たちは、Linumのこの割り切り方を非常に賢明だと評価しています。本作はあくまで彼らが目指す安価な次世代動画モデルに向けた技術実証に過ぎません。文字生成など目的から外れる機能を大胆に切り捨て、推論コスト削減という本質に絞ったからこそ、2人チームでここまでの成果を出せました。細部の生成崩れという課題はあるものの、小規模な精鋭チームが巨大資本と戦うための鮮やかな手本と言えます。