本文へスキップ
IFAI

画像・動画生成

アリババが動画生成AI「Wan2.1」をオープンソース公開、RTX 4090でも動作

公開 拡散指数 63

アリババの通義実験室が動画生成モデル「Wan2.1」をオープンソース公開した。14B版は主要ベンチマークでSoraを上回り、生成速度も2.5倍に高速化。中英2言語の文字描画に対応し、1.3B版ならRTX 4090などの民生用GPUでも動作する。

アリババが動画生成AI「Wan2.1」をオープンソース公開、RTX 4090でも動作
画像:therundown.ai

Wan2.1は、アリババの通義実験室がオープンソースで公開した動画生成AIモデル群です。テキストや1枚の画像から、高品質な動画やそれに合わせた音声をローカル環境で直接生成できます。

動画生成の代表的なベンチマークであるVBenchにおいて、Wan2.1は総合スコア86.22%を記録して首位を獲得しました。OpenAIのSoraなどの主要な商用モデルを上回り、VBenchのトップ5の中で唯一のオープンソースモデルとなっています。

何ができるのか

今回公開されたのは、テキストから動画を生成する「T2V-14B」「T2V-1.3B」、および画像から動画を生成する「I2V-14B-720P」「I2V-14B-480P」の計4モデルです。

生成速度は従来と比べて約2.5倍に高速化されており、不自然なブレやカクつきといった従来のAI動画特有の粗さが大幅に抑えられています。物理法則の再現や複雑なカメラワーク、大きな動きの描写でも破綻しにくいのが特徴です。

さらに、中国語と英語の両方でシーン内のテキスト描画に対応した初の動画モデルでもあります。インペインティングやアウトペインティング、複数画像の参照、動画内でのキャラクターの一貫性維持といった編集機能も備えています。

動作環境と試し方

Wan2.1の大きな魅力は、一般のクリエイターでも手元で動かせる点にあります。

軽量版の1.3Bモデルであれば、民生用のRTX 4090グラフィックボードや一般的なノートPC上で、480P解像度の5秒動画を約4分で出力できます。より精細な映像が必要な商用用途には、高品質な14Bモデルが適しています。

モデルの重みとコードはすでにHugging FaceおよびアリババのModelScopeで無料公開されており、誰でもダウンロードして検証できます。

なぜ重要か

多くの最先端動画モデルが有料プランや順番待ちの壁に閉ざされているなか、閉源モデルを超える性能を持つツールがオープンソースとして手に入る意味は小さくありません。

1.3Bで素早くプロトタイプを作り、14Bで本番素材を仕上げるパイプラインが自前で作れるため、個人のクリエイターや開発者ならすぐに導入を試す価値があります。

情報源 (2)

  1. [1]
    wanxai.com(新しいタブで開きます)原文wanxai.com
  2. [2]

トピックを追うAlibaba Wan2.1 ビデオモデルシリーズ

このトピックのニュース。新しい順です。

  1. アリババ、始端と終端の2コマから動画を補間する「Wan2.1-FLF2V」をオープンソース公開
  2. アリババが動画生成AI「Wan2.1」をオープンソース公開、RTX 4090でも動作この記事

毎日のAIピックアップ