MIT 研發 VideoCAD：讓 AI 模仿人類點滑鼠，草圖直接變 3D 模型

學過 CAD 的人大概都懂那種痛苦：腦子裡明明有個清晰的零件輪廓，或者手裡攥著一張草圖，一開啟軟體，面對密密麻麻的選單、圖層和引數設定，硬是半天畫不出一根線。

現在，麻省理工學院的研究人員想給 CAD 找一個虛擬學徒，直接坐在螢幕前看著老手怎麼點滑鼠，自己學會怎麼建三維模型。

4 萬條影片教 AI 點滑鼠

以 Ghadi Nehme 和 Faez Ahmed 為核心的 MIT 機械工程系團隊，研發出了一套可以直接操作 CAD 軟體的 AI 模型。

和以前直接生成三維網格檔案的模型不同，這個 AI 像真人一樣看螢幕、挪游標、點按鈕、調視角。只要給它一張二維草圖，它就會一步步在軟體裡把它拉成三維結構。

光給 AI 灌輸「畫一條線」或「拉伸」這種抽象指令是不夠的。真實操作裡，你得先選工具，再把游標移到某個特定畫素點點下去，拖動，然後在另一個畫素點鬆開。

為此，團隊做了一套對映機制，把原本的人類設計指令轉譯成真實的螢幕動作，最後攢出了一個叫 VideoCAD 的全新資料集，裡面塞了超過 4.1 萬段建模演示影片。

這 4.1 萬段影片完整錄下了人類設計師的每一次點選、拖拽和視角旋轉。AI 就是看著這幾萬場實況錄屏，掌握了 CAD 選單介面的操作邏輯。

從簡單零件到房屋戶型

學會看介面的 AI，現在已經能照著二維草圖直接在軟體裡建三維模了。除了常規的機械零配件，它甚至還能處理像房屋戶型圖這樣稍複雜的平面佈局。

Autodesk Research 的高階研究科學家 Mehdi Ataei 評價說，VideoCAD 是走向 CAD 副駕駛的重要一步，它能幫助新手快速上手，並自動化那些有固定套路的重複建模操作。他認為未來的系統甚至可能跨越不同的 CAD 平臺，支援更高階的工程流。

目前，MIT 團隊還在繼續拿更復雜的工業設計來訓練它，想讓它能應對更嚴苛的生產級建模需求。

為什麼重要

我們認為，這項研究最聰明的地方在於它沒有試圖重造輪子。以前很多三維生成模型直接吐出難以編輯的面網格，工程師拿到手裡根本沒法改引數，在工業流程裡就是個死物；而 MIT 的做法是讓 AI 順著現有工業軟體的規則走，生成的是帶完整步驟、可二次編輯的原生建模歷史。

對普通人和剛入門的學生來說，CAD 那條極其陡峭的門檻終於鬆動了一角。如果你只有簡單的草圖構想，很快就能讓 AI 替你完成最枯燥的基礎建體，省去記快捷鍵和翻找二級選單的時間。

但隱患也擺在眼前。操作圖形介面這種智慧體路徑雖然通用，速度卻受限於軟體介面的響應，而且工業級 CAD 極其看重公差、約束條件和底層拓撲結構。讓 AI 靠畫素點選去蒙精確尺寸，一旦遇到多裝配體或曲面造型，極容易翻車。我們覺得它短期內更適合充當一個聽話的操作助理，真正決定結構能不能落地的，依然得靠坐在螢幕前的人。