ByteDance、スマホで完全オフライン動作する画像生成・編集モデル「DreamLite」発表

スマホでAI写真編集を使う際、最もストレスになるのは待機時間です。指示を出してから数秒から十数秒待たされ、地下鉄や電波の届かない場所ではそもそも機能しません。

ByteDanceはパラメータ数わずか3.9億の超軽量拡散モデル「DreamLite」を発表しました。このモデルは端末内のローカル環境だけで完全オフライン動作し、テキストからの画像生成と指示による画像編集の両方を単一のネットワークでこなします。

iPhone 17 Proでのテストでは、1024×1024解像度のポートレート画像を生成するのに約3秒しかかかりません。さらにXiaomi 14上で4ステップの蒸留技術を用いた場合、生成と編集のいずれも1秒未満で処理を完了します。

3.9億パラメータで生成と編集を両立

これまでスマホ向けに軽量化された画像モデルは、テキストから新規に画像を生成する機能に偏っており、既存写真の編集や部分修正には対応できないものが大半でした。

DreamLiteはその壁を取り払いました。白紙からの画像生成だけでなく、既存の写真を取り込んで油絵風や水彩画風に画風を変えたり、日常風景を冬の凍結した湖の景色へ書き換えたりすることが数秒で可能です。

部分的な編集機能も充実しており、写真内の鳥を消す、背景を差し替える、空に虹を追加する、サイバーパンク風の装飾を施すといった操作に対応しています。

3.9億という小さなサイズゆえ、人物の肌のキメや動物の細かな毛並みといった質感表現では、クラウド上で動く数百億規模の巨大モデルに及びません。しかし、同等クラスや一回り大きい端末向けモデルと比較すると、品質と処理効率の両面で頭一つ抜けています。

単一ネットワークで両タスクをこなす工夫

生成と編集を小型モデルで両立させるため、研究チームは刈り込みを行った軽量なモバイルU-Netを基盤に採用しました。

工夫されているのは潜在空間での入力統合です。画像を水平方向に連結して入力し、生成タスクでは目標画像と空白の組み合わせ、編集タスクでは目標画像と元画像の組み合わせとして処理します。これにより、別々のモデルを用意することなく単一の構造で両機能を実現しました。

また、生成から編集、そして両者の共同タスクへと段階的に進める事前学習を行い、高品質なファインチューニングと強化学習を施しています。その結果、生成ベンチマークのGenEvalで0.72、編集ベンチマークのImgEditで4.11を記録し、既存のオンデバイスモデルを大きく上回りました。

なぜ重要か

一般ユーザーにとって最大のメリットは、高速性とプライバシーの両立です。飛行機内や電波の弱い場所でも待ち時間なく利用でき、個人的な写真を外部サーバーに送信する必要がありません。

スマートフォン業界にとっても、ローカルAIの実用化を大きく前進させる成果といえます。これまで端末内蔵の編集機能といえば簡易的な消しゴムや定型フィルターにとどまっていましたが、わずか0.39Bのサイズで自然言語による本格的な編集が可能であることが示されました。

私たちは、ByteDanceのアプローチは非常に現実的かつ実用的だと評価しています。パラメータ数を増やしてクラウド級の画質を競うのではなく、数秒以内のレスポンス、低メモリ消費、生成と編集の統合というスマホに最も求められる要件に割り切っています。日常のツールとして手元で即座に動く価値は非常に大きいと言えます。