MIT 研发 VideoCAD：让 AI 模仿人类点鼠标，草图直接变 3D 模型

学过 CAD 的人大概都懂那种痛苦：脑子里明明有个清晰的零件轮廓，或者手里攥着一张草图，一打开软件，面对密密麻麻的菜单、图层和参数设置，硬是半天画不出一根线。

现在，麻省理工学院的研究人员想给 CAD 找一个虚拟学徒，直接坐在屏幕前看着老手怎么点鼠标，自己学会怎么建三维模型。

4 万条视频教 AI 点鼠标

以 Ghadi Nehme 和 Faez Ahmed 为核心的 MIT 机械工程系团队，研发出了一套可以直接操作 CAD 软件的 AI 模型。

和以前直接生成三维网格文件的模型不同，这个 AI 像真人一样看屏幕、挪光标、点按钮、调视角。只要给它一张二维草图，它就会一步步在软件里把它拉成三维结构。

光给 AI 灌输「画一条线」或「拉伸」这种抽象指令是不够的。真实操作里，你得先选工具，再把光标移到某个特定像素点点下去，拖动，然后在另一个像素点松开。

为此，团队做了一套映射机制，把原本的人类设计指令转译成真实的屏幕动作，最后攒出了一个叫 VideoCAD 的全新数据集，里面塞了超过 4.1 万段建模演示视频。

这 4.1 万段视频完整录下了人类设计师的每一次点击、拖拽和视角旋转。AI 就是看着这几万场实况录屏，掌握了 CAD 菜单界面的操作逻辑。

从简单零件到房屋户型

学会看界面的 AI，现在已经能照着二维草图直接在软件里建三维模了。除了常规的机械零配件，它甚至还能处理像房屋户型图这样稍复杂的平面布局。

Autodesk Research 的高级研究科学家 Mehdi Ataei 评价说，VideoCAD 是走向 CAD 副驾驶的重要一步，它能帮助新手快速上手，并自动化那些有固定套路的重复建模操作。他认为未来的系统甚至可能跨越不同的 CAD 平台，支持更高级的工程流。

目前，MIT 团队还在继续拿更复杂的工业设计来训练它，想让它能应对更严苛的生产级建模需求。

为什么重要

我们认为，这项研究最聪明的地方在于它没有试图重造轮子。以前很多三维生成模型直接吐出难以编辑的面网格，工程师拿到手里根本没法改参数，在工业流程里就是个死物；而 MIT 的做法是让 AI 顺着现有工业软件的规则走，生成的是带完整步骤、可二次编辑的原生建模历史。

对普通人和刚入门的学生来说，CAD 那条极其陡峭的门槛终于松动了一角。如果你只有简单的草图构想，很快就能让 AI 替你完成最枯燥的基础建体，省去记快捷键和翻找二级菜单的时间。

但隐患也摆在眼前。操作图形界面这种智能体路径虽然通用，速度却受限于软件界面的响应，而且工业级 CAD 极其看重公差、约束条件和底层拓扑结构。让 AI 靠像素点击去蒙精确尺寸，一旦遇到多装配体或曲面造型，极容易翻车。我们觉得它短期内更适合充当一个听话的操作助理，真正决定结构能不能落地的，依然得靠坐在屏幕前的人。