MITが「VideoCAD」開発、AIが人間のマウス操作を真似てスケッチから3D化

CADソフトを初めて開いたときの、画面を埋め尽くす複雑なメニューに圧倒された経験がある人は多いはずです。

MIT（マサチューセッツ工科大学）の研究チームが、人間のデザイナーと同じようにマウスをクリックし、メニューを操作して3Dモデルを作成するAIモデルを開発しました。2Dのスケッチを渡すだけで、CADソフト内でボタンを押したりドラッグしたりしながら立体を作っていきます。

4万1000本の動画でUI操作を学習

研究チームは、デザイナーが3Dモデルを組み立てる手順を記録した新しいデータセット「VideoCAD」を構築しました。収録された実演動画は4万1000本を超えます。

CADの操作はブラウザや表計算ソフトよりもはるかに複雑です。単に「線を引く」「押し出す」といった抽象的な指示を与えるだけでは動かないため、画面上の特定のピクセル位置をクリックしてドラッグする、といった具体的なUIアクションに変換してAIに学ばせました。

この訓練を経たAIは、2Dスケッチからシンプルな部品だけでなく、間取り図のような構造の3Dモデルまで再現できるようになっています。

Autodesk ResearchのシニアリサーチサイエンティストであるMehdi Ataei氏は、この成果について、初心者の導入を助け、定型的なモデリング作業を自動化するAIアシスタントへの貴重な第一歩だと評価しています。

なぜ重要か

私たちが注目すべきだと考えるのは、このAIがメッシュデータを直接吐き出すのではなく、既存のCADソフトのUIを操作してモデリングを行っている点です。従来の3D生成AIが作るデータは修正が難しいポリゴンの塊になりがちでしたが、この方式なら編集履歴やパラメータが残るネイティブなデータが手に入ります。

初心者や学生にとっては、CAD特有の険しい学習曲線を大きく引き下げてくれる存在になるはずです。頭の中のスケッチを渡せば、メニューの場所を探す手間なくベースモデルを立ち上げてくれます。

一方で、画面のピクセル操作に頼る手法には、精密な寸法拘束や複雑な公差設計でズレが生じやすいという懸念も残ります。現時点ではプロの仕事を完全に代替するものではなく、退屈な定型作業を肩代わりしてくれる有能な副操縦士として見るのが妥当でしょう。