아우디 공장 들어간 FLUX 3, 영상 생성 AI가 로봇까지 움직인다

영상 생성 AI는 미디어 제작자들의 도구로만 여겨졌지만, Black Forest Labs(BFL)는 이 모델을 곧장 아우디(Audi) 자동차 조립 라인으로 보냈습니다.

BFL은 7월 23일 이미지, 비디오, 오디오를 통합한 차세대 멀티모달 파운데이션 모델 FLUX 3의 얼리 액세스를 시작했습니다. 동시에 스위스 취리히의 로봇 기업 mimic robotics와 협력해 로봇 제어용 비디오-액션 모델인 FLUX-mimic을 공개하고, 아우디 공장 실전에 배치했다고 밝혔습니다.

연산 95%를 영상에 쏟아부어 배운 '물리 법칙'

FLUX 1과 2가 이미지 생성에 머물렀다면, FLUX 3은 처음부터 이미지, 비디오, 오디오를 함께 학습했습니다. 특히 전체 학습 연산 비용의 95% 이상이 비디오 예측에 투입되었으며, 오디오 토큰 비중은 720p 영상 기준 0.5% 미만에 불과합니다.

원리는 명확합니다. 물리적으로 어색하지 않은 고화질 영상을 만들려면 모델이 질량, 관성, 충돌, 인과관계를 필연적으로 이해해야 합니다. 이 세계 모델이 완성되면, 로봇 팔을 움직이는 액션 데이터는 시각 정보와 긴밀하게 연결된 또 다른 표현 방식일 뿐입니다.

실제로 학습 커리큘럼에 액션 예측을 추가했을 때 영상 생성 품질 평가가 일시적으로 최대 10% 떨어졌으나, 불과 3500스텝 만에 기존 품질을 완전히 회복했습니다. FLUX-mimic은 비디오 예측 경로의 중간 특징을 디코딩하는 가벼운 구조 덕분에 단일 RTX 5090 GPU 환경에서 80ms 미만의 지연 시간으로 구동됩니다.

30분 만에 작업 습득, 빗나가면 스스로 재시도

아우디 생산 라인에 투입된 FLUX-mimic은 까다로운 공정들을 도맡고 있습니다.

부품을 정렬 트레이에 담는 키팅 작업부터 전자제어장치를 좁은 틈에 정확히 장착하는 조립, 그리고 기존 공장 자동화 로봇이 다루기 어려워했던 고무 실링재나 전선 같은 유연 소재 핸들링까지 수행합니다.

물리적 상호작용을 이미 꿰뚫고 있는 모델이라 새 작업을 가르치는 시간도 획기적으로 줄었습니다. 기존에는 30시간 이상의 시연 데이터가 필요했지만, FLUX-mimic은 약 30분의 데이터만으로 새로운 작업을 학습합니다.

또한 부품을 쥐려다 빗나가더라도 시각 피드백을 통해 즉시 스스로 궤적을 수정해 다시 집어 올리는 자율 복구 능력도 갖췄습니다.

왜 중요한가

우리는 BFL과 mimic의 접근법이 피지컬 AI 분야에서 매우 영리한 전략이라고 판단합니다. 로봇 전용 파운데이션 모델을 바닥부터 다시 만드는 대신, 방대한 비디오 데이터로 물리 세계를 시뮬레이션해 둔 영상 생성 모델을 로봇의 두뇌로 전용한 셈입니다.

제조업 현장 관점에서는 공정 세팅 비용을 파격적으로 낮출 수 있습니다. 새 작업 습득에 30분밖에 걸리지 않고 단 한 장의 워크스테이션 GPU로 실시간 제어가 가능하다면, 다품종 소량 생산 라인에도 로봇을 빠르게 투입할 수 있습니다.

업계 전반으로 보면 기존 VLA(시각-언어-행동) 모델 중심의 판도에 균열을 낼 만합니다. 텍스트 중심 모델은 물리적 공간감과 힘의 작용을 직관적으로 이해하는 데 한계가 있지만, 영상 예측 모델은 이미 수천만 시간 분량의 움직임을 통해 물리 법칙을 내재화했기 때문입니다.

다만 생성 모델 특유의 무작위성과 환각 위험은 여전한 과제입니다. 오차가 밀리미터 단위로 관리되어야 하는 고속 양산 라인에서 모델이 순간적으로 엉뚱한 판단을 내릴 경우 치명적인 손실로 이어질 수 있으므로, 장기적인 무결성 검증이 상용화 확장의 핵심 관건이 될 것으로 보입니다.