구글 Veo 3로 재현한 '스파게티 먹방'...영상은 완벽한데 면에서 바삭 소리가?

2년 전 일그러진 윌 스미스가 스파게티를 괴기스럽게 집어삼키는 영상은 초기 AI 비디오 기술의 우스꽝스러운 한계를 보여주는 대표적인 밈이었습니다. 이번 주 Google이 공개한 최신 모델로 다시 이 장면을 시험해 본 결과, 시각적인 완성도는 몰라보게 향상되었지만 기괴한 오류가 하나 생겼습니다. 가짜 윌 스미스가 면을 씹을 때마다 과자를 씹는 듯 바삭거리는 소리가 흘러나온 것입니다.

이 영상의 주인공은 Google이 I/O에서 선보인 새로운 비디오 생성 모델 Veo 3입니다. 2022년부터 지금까지 나온 주요 비디오 생성 도구들이 대부분 몇 초짜리 무성 영상에 머물렀던 것과 달리, Veo 3는 8초 분량의 고화질 비디오를 만들면서 화면에 맞춘 음성, 대사, 효과음을 동시에 합성해 냅니다.

프롬프트에 없는 대사도 스스로 창작

Veo 3의 놀라운 점은 단순히 소리를 덧붙이는 수준을 넘어, 사용자가 입력하지 않은 대사까지 모델이 스스로 지어내어 말한다는 점입니다.

미국 IT 매체 더 버지의 테스트에 따르면, 경찰이 등장하는 장면에 별도의 대사 지시를 넣지 않았음에도 모델이 만든 경찰 캐릭터는 손짓을 하며 거리를 정리해야 한다는 말을 내뱉었습니다. 부두에 서 있는 고양이 만화 캐릭터 두 마리를 만들었을 때는 물고기가 잡히지 않는다고 불평하는 대화와 경쾌한 배경음악이 저절로 들어갔습니다.

이러한 정교함은 그만큼 위험한 장면도 쉽게 만들어냅니다. 하버드 로스쿨 사이버법 클리닉 연구원은 뉴스 앵커가 미 국방장관의 사망을 전하는 그럴듯한 가짜 뉴스 클립을 생성해 공개하기도 했습니다. 레딧에서는 AI 캐릭터들이 자신을 만들어낸 프롬프트에 항의하는 영상 모음이 5만 개 이상의 추천을 받았으며, 병실의 인공호흡기 소리나 총기 협박 장면 같은 오디오가 매우 사실적으로 구현되었습니다.

물론 안전장치도 작동합니다. 바이든 대통령이 넘어지는 장면이나 대통령 암살 뉴스, 테크 기업 대표가 돈을 뿌리는 장면 등은 필터링됩니다. 사용자의 실제 사진을 넣어 특정 대사를 읊게 만드는 딥페이크 요청도 거부됩니다.

바삭한 스파게티와 저품질 키즈 콘텐츠

스파게티에서 바삭한 소리가 난 이유는 생성형 AI의 패턴 매칭 한계 때문입니다. 학습 데이터 속에서 무언가를 입으로 씹는 장면에 바삭한 효과음이 과도하게 연결되어 있었던 탓에, 면을 씹는 동작에 엉뚱한 오디오가 결합된 것입니다.

또한 Veo 3는 유튜브 키즈에 넘쳐나는 저품질 애니메이션을 찍어내는 데 최적화된 도구라는 평가도 받습니다. 몬스터 트럭이 페인트 통에 빠지는 식의 단순하고 자극적인 유아용 클립을 단 몇 분 만에 음향까지 갖춰 완성할 수 있기 때문입니다.

현재 이 기능을 쓰려면 비용이 꽤 드는 Google AI Ultra 구독이 필요합니다. 게다가 8초짜리 클립을 이어 붙여 긴 영상을 만들려고 하면 이전 세대인 Veo 2로 강제 전환되며 오디오가 전부 사라지는 기술적 제약도 남아 있습니다.

왜 중요한가

우리는 Veo 3가 AI 영상 기술의 경쟁 무대를 단순 화질 경쟁에서 완전한 시청각 통합 경험으로 옮겨놓았다고 봅니다. 그동안 크리에이터들은 무성 비디오를 뽑은 뒤 별도의 음성 생성기와 사운드 라이브러리를 동원해 수작업으로 싱크를 맞춰야 했습니다. 텍스트 프롬프트 하나로 영상과 입모양, 배경음악, 폴리 사운드를 한 번에 해결해 주는 워크플로는 숏폼 콘텐츠 제작 비용을 획기적으로 낮출 것입니다.

하지만 모델이 대사를 스스로 지어내는 기능은 뚜렷한 양날의 검입니다. 장면의 생동감은 살려주지만, 제작자가 의도하지 않은 자극적이거나 왜곡된 발언이 영상에 멋대로 포함될 수 있기 때문입니다. 유명인을 금지어로 묶어둔다 해도, 일반적인 랜드마크 화재나 재난 보도 영상을 오디오까지 완벽하게 꾸며내는 데 드는 장벽이 사실상 사라졌습니다.

당장은 비싼 구독료와 8초라는 시간 제약 탓에 본격적인 영화나 방송 제작에 투입되기는 어렵습니다. 오히려 Veo 3가 가장 먼저 위력을 떨칠 곳은 알고리즘의 빈틈을 노리고 조회수를 쓸어 담는 소셜 미디어의 스팸성 콘텐츠와 저품질 키즈 채널이 될 것으로 보입니다.