本文へスキップ
IFAI

オープンソース

物理法則を理解する画像編集AI「PhysicEdit」公開 水の屈折や融解を正確に再現

公開 拡散指数 48

物理現象を正確に反映できる画像編集フレームワーク「PhysicEdit」がオープンソースで公開された。Qwen ImageEdit 2.5をベースに開発され、既存モデルが苦手とする水中の光屈折やバターの融解、ドミノ倒しなどの因果動態を破綻なく再現できる。

物理法則を理解する画像編集AI「PhysicEdit」公開 水の屈折や融解を正確に再現
画像:arxiv.org

PhysicEditは、画像編集AIに現実の物理法則を理解させるオープンソースのフレームワークだ。従来の画像編集モデルは、物体の色を変えたり位置を動かしたりすることは得意だが、水に入れたストローの光の屈折といった因果関係を伴う物理現象の描写では破綻することが多かった。

PhysicEditはそうした不自然さを解消することに特化している。Qwen ImageEdit 2.5をベースにしたLoRA構成を採用し、事象がどのように進展するかという物理変化を予測して画像を編集する。

何ができるのか

光学面では、コップの水に挿したストローの屈折を物理的に正しく描画できる。主要なプロプライエタリモデルでも破綻しやすいこの現象をきれいに処理する。

熱力学的な変化にも対応しており、バターが熱で溶け出す様子や、水たまりが凍りつく様子、温度差で窓ガラスが曇って結露する質感などをリアルに再現する。

力学や素材特性の理解も特徴だ。積み上げたトランプタワーが崩れる瞬間、粘土を引き伸ばす挙動、トマトにボールが衝突して果汁が飛び散る飛沫、ペンキの剥がれや粘土の硬化などを反映できる。

時間の経過に伴う変化として、バナナが傷んで黒ずんでいく過程や、花が開花したり植物が枯れたりする表現も可能だ。

論文内の評価実験によると、ベースとなるQwen-Image-Editと比較して物理的リアリズムが5.9パーセント、知識に基づいた編集精度が10.1パーセント向上しており、物理認識ベンチマークにおいて商用の最先端モデルと同等以上の水準を示している。

なぜ物理法則を再現できるのか

研究チームは、従来の編集モデルが物理法則を苦手としていた原因を、静止画ペア間の離散的なマッピングとして学習していたためだと指摘している。これでは途中の物理的な遷移プロセスが学習されない。

そこでチームは、5つの物理領域にわたる3万8000件の遷移軌跡を動画から抽出したデータセット「PhysicTran38K」を構築した。

フレームワーク内部では、テキストと視覚の二重思考メカニズムを採用している。重みを固定したマルチモーダルモデルQwen2.5-VLが物理的な推論を担当し、学習可能なクエリを通じて拡散モデルのバックボーンへステップごとの視覚的誘導信号を渡す仕組みだ。コードはすでにGitHubで公開されている。

なぜ重要か

プロダクト画像やコンセプトアートを制作するクリエイターにとって、物理現象の描写崩れを手作業で修正する負担は大きかった。このツールを使えば、屈折や融解といった基本的な現象の再現性が大幅に向上する。

巨大な画像生成モデルを一から再学習するのではなく、固定されたVLMの推論能力と動画由来の状態遷移データを組み合わせるアプローチは非常に合理的だ。オープンソース環境で商用API並みの物理シミュレーション能力を手に入れたい開発者にとって、試す価値のある選択肢といえる。

情報源 (1)

  1. [1]

毎日のAIピックアップ