ByteDanceがLucidaを発表:実世界の部屋を編集可能な3D空間に変換
ByteDanceの研究チームが3Dシーンモデリング手法「Lucida」を発表しました。部屋全体の動画から個別の物体を認識して独立した3Dアセットを生成し、VLMを使って正確に配置します。物体ごとに移動や編集ができるため、ロボットや身体性AIのシミュレーション環境構築が大幅に容易になります。
ByteDanceの研究チームが3Dシーンモデリング手法「Lucida」を発表しました。部屋全体の動画から個別の物体を認識して独立した3Dアセットを生成し、VLMを使って正確に配置します。物体ごとに移動や編集ができるため、ロボットや身体性AIのシミュレーション環境構築が大幅に容易になります。
半透明ガラスや迷彩、文字の影、細い髪の毛など、一般的なツールが苦手とする境界処理に特化した背景除去モデル「Lucida」が公開された。サイズは 900MB 未満と軽量で、MIT ライセンスのもと一般的な GPU でローカル実行できる。