CADFusion：テキストから高精度な3D CADモデルを生成するLLMフレームワーク

3D CADのモデリングは、専門的な知識と根気を必要とする作業です。スケッチを描き、寸法や幾何拘束を設定し、押し出しやフィレットを重ねていく手順は、初心者には決して簡単ではありません。LLMがプログラミングコードを生成できるなら、言葉で指示するだけでCADの操作手順を出力できないか、と考えるのは自然な流れです。

いわゆる「Text-to-CAD」と呼ばれるこの領域ですが、これまでの手法には大きな課題がありました。その課題を克服すべく、研究者らが新たに発表したのが「CADFusion」というフレームワークです。

なぜ従来のText-to-CADはうまくいかなかったのか

CADモデルは、一連のパラメータ操作の履歴（シーケンス）によって構成されています。これまでの研究では、正解となるパラメータのテキストシーケンスを用意し、通常のコード生成と同じようにLLMに学習させる方法が主流でした。

しかし、CADモデルは本質的にマルチモーダルです。テキストとしてのパラメータシーケンスだけでなく、実際にレンダリングされた3D形状という視覚情報が存在します。

しかも、パラメータから立体形状への変換は「多対一」の関係になります。異なる手順でも同じ形状になることがあれば、コード上はわずかなズレであっても、レンダリングすると形状が完全に破綻してしまうケースもあります。パラメータの文字並びだけを学習させても、モデルは自分がどんな形の立体を作っているのか理解できなかったわけです。

コードの整合性と視覚的フィードバックを交互に学ぶ

CADFusionはこの問題を、LLMをベースにした2段階の交互学習によって解決しました。

1つ目の段階は「シーケンス学習（SL）」です。ここでは正解のパラメータシーケンスを学習し、CADとしての構文規則や論理的に一貫した操作手順を叩き込みます。

2つ目の段階が「視覚的フィードバック（VF）」です。生成したパラメータを実際に3Dレンダリングし、意図通りの綺麗な立体になっていれば報酬を与え、歪んだり崩れたりしていればペナルティを科します。これにより、レンダリング結果が視覚的にどう評価されるかをモデルに理解させます。

学習の全工程を通じてこの2つのステップを交互に繰り返すことで、コードとしての論理構造を保ちながら、見た目にも正確な3Dモデルを出力できるようになりました。論文の実験結果でも、定性的・定量的な評価の両面で大幅な性能向上が確認されています。

なぜ重要か

現在普及している多くの3D生成AIはポリゴンメッシュを出力するため、見た目は良くても製造業の現場で後から寸法を変更したり、公差を調整したりすることが困難でした。

CADFusionが生成するのは編集可能なパラメトリックシーケンスです。つまり、出力されたデータを既存のCADソフトウェアに持ち込み、設計変更を加えられる実用性を備えています。

私たちは、この手法の賢さは「シーケンスと見た目の評価を切り離しつつ交互に回した点」にあると考えています。無理に複雑な巨大マルチモーダルモデルを組むのではなく、LLMのコード生成能力を活かしながら、強化学習的なフィードバックで視覚的な整合性を担保するアプローチは非常に合理的です。

もちろん、複雑な機構設計や精密なアセンブリをテキスト指示だけで完璧に作り上げるには、まだ解決すべき課題が残っています。それでも、自然言語で指示して実用的なCADデータを取り出せる未来に向けて、確かな前進を見せた研究と言えます。