CADFusion：让大模型看懂 3D 设计，文字直接生成 CAD 模型

搞过工业设计或者 3D 打印的朋友都知道，画一个合格的 CAD 模型到底有多折磨人。你要在软件里拉线条、设约束、建草图、拉伸切除，一步错步步错。既然大语言模型写代码那么厉害，能不能让它听懂人话，直接把这一串 CAD 建模步骤写出来？

这就是 Text-to-CAD 想做的事。不过之前的研究往往只教模型生搬硬套代码序列，结果经常是逻辑勉强通顺，渲染出来的 3D 物体却惨不忍睹。最近，研究团队提出了一个名为 CADFusion 的新框架，尝试用大模型加视觉反馈的办法，彻底解决这个问题。

为什么以前的 AI 画不好 CAD

传统的 CAD 建模本质上是一串参数指令，比如先画一个圆柱，再在顶面切一个凹槽。之前的做法很简单粗暴，直接找来现成的 CAD 指令数据，当成代码序列喂给大语言模型去学。

但这套逻辑在 3D 建模上很容易碰壁。CAD 本质上是多模态的，它既是一串冷冰冰的参数序列，又是最终渲染出来的三维视觉实体。

更麻烦的是，参数到图像的渲染是一个「多对一」的过程。很多种不同的建模步骤可能做出同一个零件，而序列里稍微漏掉一个倒角或约束，虽然代码没报错，渲染出来的东西可能就完全变形了。光盯着代码序列硬背，模型根本不知道自己画出来的东西长成什么样。

双管齐下：代码逻辑与眼睛看图交替学

CADFusion 的解决思路很直接：既然光看序列不够，那就给大模型配一双「眼睛」，让它在写代码和看效果之间来回切换。

整个框架以大语言模型为核心，在训练时交替进行两个关键阶段。

第一阶段是序列学习。这个阶段模型老老实实对照标准答案，学习真实的 CAD 参数序列，把建模语言的语法结构和前后逻辑理顺，确保生成的指令是合法且连贯的。

第二阶段则是视觉反馈。模型写出的参数序列会被实际渲染成 3D 视觉图像，系统会根据渲染结果的好坏进行奖惩。渲染得漂亮、符合视觉预期的序列会得到奖励，扭曲走样的则会被惩罚。

通过这两个阶段的不断轮换，大模型既掌握了底层参数的严谨逻辑，又学会了从视觉角度审视自己的作品。实验数据和直观对比都显示，CADFusion 生成的 3D 模型在结构合理性和视觉还原度上都有了大幅提升。

为什么重要

把自然语言直接变成工业级 CAD 参数，这件事的想象空间非常大。

现在的 3D 生成模型大多只能吐出一堆没有结构的网格面，虽然看着漂亮，但工程师根本没法改，工业制造也用不上。而 CADFusion 生成的是真实的参数化序列，这意味着它导出的模型能直接在机械设计软件里二次编辑、调整尺寸和公差。

我们认为，这项研究最聪明的地方在于抓住了 CAD「代码加视觉」的双重属性。以前的研究要么把 CAD 当纯文本代码处理，要么把它当纯 3D 图形处理，CADFusion 用交替训练的方式把两者缝合在一起，用视觉结果反哺代码逻辑，思路非常清晰。

不过，目前这项技术还处于早期验证阶段。复杂工业装配体往往包含成千上万条约束和精密装配关系，大模型面对极度精密的机械设计时，依然容易出现细微的尺寸漂移。但无论如何，它让普通创作者甚至非专业人士用一句话生成可编辑零件，离现实又近了一大步。