CADFusion: 텍스트를 정밀한 3D CAD 모델로 변환하는 LLM 프레임워크

3D CAD 모델링은 상당한 전문 지식과 시간이 들어가는 작업입니다. 스케치를 그리고, 치수와 구속 조건을 설정하고, 돌출과 컷을 반복하는 과정은 비전문가에게 진입 장벽이 매우 높습니다. 대형 언어 모델(LLM)이 코딩을 척척 해내는 시대라면, 말 한마디로 이 복잡한 CAD 모델링 시퀀스를 만들어낼 수는 없을까요?

이런 목표를 가진 기술이 바로 자연어 기반 3D CAD 생성, 즉 'Text-to-CAD'입니다. 최근 연구진은 LLM과 시각적 피드백을 결합해 한 차원 높은 완성도를 보여주는 새로운 프레임워크 'CADFusion'을 공개했습니다.

코드만 외워서는 온전한 3D를 만들 수 없다

CAD 모델의 뼈대는 사실 파라메트릭 시퀀스, 즉 명령어들의 연속입니다. 지금까지의 연구들은 정답 명령어 데이터를 모아 LLM에 텍스트 형태로 학습시키는 방식을 주로 썼습니다.

하지만 CAD 데이터는 본질적으로 멀티모달입니다. 파라미터 텍스트뿐만 아니라, 이를 렌더링했을 때 나타나는 3D 시각적 객체가 반드시 함께 존재해야 합니다.

게다가 파라미터에서 시각적 객체로의 변환은 '다대일' 구조입니다. 서로 다른 명령 순서로도 같은 부품을 만들 수 있고, 반대로 코드 한 줄의 사소한 오차 때문에 렌더링된 형상이 완전히 일그러지기도 합니다. 텍스트 시퀀스만 달달 외운 LLM은 자신이 만든 형상이 실제로 어떻게 생겼는지 전혀 알지 못했습니다.

코드 학습과 시각적 보상을 번갈아 훈련하다

CADFusion은 LLM을 기반으로 삼고, 훈련 과정을 두 가지 단계로 나누어 번갈아 진행하는 방식을 택했습니다.

첫 번째는 시퀀스 학습 단계입니다. 정답 파라메트릭 시퀀스를 학습해 CAD 명령어의 문법과 논리적 맥락을 정확하게 생성하도록 훈련합니다.

두 번째는 시각적 피드백 단계입니다. 모델이 생성한 파라미터 시퀀스를 실제로 3D 렌더링한 뒤, 시각적으로 온전하고 자연스러운 형상에는 보상을 주고 형태가 무너진 결과물에는 페널티를 부여합니다. 이를 통해 모델은 시각적 완성도를 스스로 인지하고 평가하는 감각을 익힙니다.

두 단계를 번갈아 수행한 덕분에 CADFusion은 코드의 논리적 무결성을 잃지 않으면서도, 렌더링 품질을 동시에 챙길 수 있었습니다. 실제 실험에서도 정량적, 정성적 지표 모두에서 기존 방식 대비 눈에 띄는 성능 향상을 증명했습니다.

왜 중요한가

현재 유행하는 수많은 3D 생성 AI는 대부분 수정이 불가능한 폴리곤 메시를 생성합니다. 겉보기에는 그럴듯하지만 엔지니어가 치수를 바꾸거나 실제 제조 공정에 쓰기는 어렵습니다.

반면 CADFusion은 파라메트릭 시퀀스를 생성합니다. 즉, 생성된 결과를 기존 CAD 프로그램으로 가져와 치수를 고치고 형상을 편집할 수 있는 '진짜 설계 데이터'가 나온다는 뜻입니다.

우리는 이 연구가 파라미터 코드 학습과 시각적 피드백을 교차 훈련으로 엮어낸 점이 영리하다고 봅니다. 복잡한 멀티모달 모델을 처음부터 새로 만드는 대신, LLM의 시퀀스 생성력에 렌더링 기반 보상을 덧붙여 실질적인 완성도를 잡았습니다.

물론 복잡한 기계 조립체나 오차 없는 정밀 공차를 단 몇 줄의 프롬프트로 완벽히 제어하기까지는 갈 길이 멉니다. 하지만 비전문가도 말 한마디로 편집 가능한 CAD 부품을 얻게 되는 미래에 한 걸음 더 다가선 것은 분명해 보입니다.