MIT, 디자이너 조작 모방해 2D 스케치 3D 모델로 바꾸는 AI 개발

CAD 프로그램을 처음 켜본 사람이라면 수많은 아이콘과 복잡한 메뉴 앞에서 막막했던 기억이 있을 것입니다.

MIT 기계공학과 연구진이 사람 디자이너처럼 소프트웨어를 직접 조작해 3D 모델을 완성하는 AI를 개발했습니다. 2D 스케치를 입력하면 AI가 마우스를 움직여 버튼을 클릭하고 메뉴를 넘나들며 형상을 만듭니다.

마우스 클릭을 배운 4만 개의 비디오

연구진은 디자이너들의 실제 작업 과정을 담은 4만 1000개 이상의 비디오 데이터셋인 VideoCAD를 구축했습니다. 여기에는 물체를 다듬는 모든 클릭과 드래그, 도구 선택 과정이 실시간으로 기록되었습니다.

CAD 작업은 일반 웹 브라우징보다 훨씬 정교한 상호작용을 요구합니다. 연구진은 단순히 선 그리기나 돌출 같은 상위 명령을 주는 데 그치지 않고, 화면의 특정 픽셀 위치를 클릭하고 이동하는 구체적인 UI 조작으로 명령을 변환해 AI를 훈련시켰습니다.

훈련을 마친 AI는 스케치를 보고 간단한 기계 부품은 물론 집 평면도 같은 구조물까지 3D로 구현해 냈습니다.

오토데스크 리서치의 메디 아타에이 수석 연구원은 VideoCAD가 초보자의 적응을 돕고 반복적인 모델링을 자동화하는 AI 어시스턴트를 향한 중요한 첫걸음이라고 평가했습니다.

왜 중요한가

우리는 이 연구가 완전히 새로운 3D 포맷을 생성하는 대신 기존 CAD의 조작 방식을 그대로 모방했다는 점에 주목합니다. 기존 생성형 AI가 내놓는 3D 결과물은 수정이 불가능한 경우가 많았지만, 이 방식은 정식 CAD 히스토리와 수정 가능한 파라미터를 그대로 남길 수 있기 때문입니다.

비전문가나 설계 입문자에게는 높은 진입 장벽을 낮춰주는 유용한 도구가 될 수 있습니다. 아이디어를 스케치로 그리기만 해도 복잡한 도구 위치를 외울 필요 없이 기본적인 입체 뼈대를 세워줍니다.

다만 화면 픽셀 기반 에이전트 방식은 미세한 공차 설정이나 복잡한 구속 조건을 다룰 때 오차가 발생할 위험이 있습니다. 지금 당장 엔지니어를 대체하기보다는 단순 반복 모델링을 대신 처리해 주는 보조 조종사로 접근하는 것이 현실적입니다.