영상에 직접 끼어들어 질문하는 인터랙티브 미디어 데모 'ACTx486' 공개

스마트폰으로 영상을 볼 때 우리의 경험은 늘 일방적이었습니다. 출연자가 모르는 단어를 말하면 영상을 멈추고 검색해야 했고, 나와 어떤 관련이 있는지 묻고 싶어도 화면 속 인물은 그저 제 갈 길을 갈 뿐입니다.

기존의 일반 동영상을 대화형 미디어로 탈바꿈시키는 연구 데모 'ACTx486'이 공개됐습니다. 이미 녹화가 끝난 팟캐스트 영상을 시청자의 말을 알아듣고 반응하며 맥락을 조절하는 인터랙티브 콘텐츠로 변환하는 시스템입니다.

영상 속 일론 머스크에게 직접 말을 걸다

이번 연구는 대중에게 매우 친숙한 일론 머스크와 조 로건의 유명 팟캐스트 영상을 바탕으로 제작됐습니다. 소파에 앉아 스마트폰으로 영상을 보던 관객이 화면을 터치해 수시로 대화에 끼어드는 방식입니다.

화염방사기의 작동 원리를 묻자 화면 속 출연진이 시선을 돌려 설명을 시작하고, 설명 타이밍에 맞춰 시각 다이어그램이 실시간으로 그려집니다. 스타쉽 우주선을 꺼내 보여달라고 요구하면 3D 모델이 장면에 추가되며, 이후 다른 질문을 이어가도 해당 물체는 그 자리에 그대로 유지됩니다.

호스트의 음성과 특징을 유지한 채 서로 다른 언어로 대화하게 하거나, 카메라를 켜서 시청자 본인을 스튜디오 화면 안으로 합성하는 것도 가능합니다. 시청자가 개입해 바꾼 상황들은 다음 대화로 자연스럽게 이어지며, 상호작용이 끝나면 원래 녹화본의 시선과 호흡에 맞춰 본래 방송 분량으로 매끄럽게 돌아갑니다.

뛰어난 완성도, 하지만 실시간 작동은 아직

다만 이 놀라운 장면들이 지금 당장 실시간으로 돌아가는 것은 아닙니다.

연구진은 ACTx486이 단순한 효과가 아니라 맥락 분석, 자료 조사, 스크립트 작성, 장면 합성을 실제로 수행한다고 밝혔습니다. 상호작용 한 번을 생성하는 데 아직 수분이 걸리기 때문에, 현재 공개된 데모 영상들은 사전에 미리 렌더링된 결과물입니다.

팀이 목표로 하는 이상적인 응답 시간은 6초 이내지만, 아직 기술적으로 갈 길이 멀어 다양한 방식을 시험하고 있는 단계입니다.

유명인의 얼굴과 목소리를 그대로 다루는 만큼 안전장치도 마련했습니다. 시스템은 인물의 공개 기록에만 근거해 답하고 개인적이거나 정치적인 질문은 거절하도록 설계됐으며, 실제 영상과 AI 생성 영상이 전환되는 지점을 화면에 정확히 라벨로 표기합니다.

왜 중요한가

우리는 ACTx486이 빈 채팅창에서 시작하는 방식을 과감히 버렸다는 점을 높게 평가합니다.

생성형 AI는 무한한 가능성을 주지만 사용자에게 끊임없이 프롬프트를 요구하는 피로감을 안깁니다. 반면 ACTx486은 기존 미디어가 제공하는 서사와 맥락 위에서 사용자가 가벼운 '마이크로 디렉터'로 참여하게 만듭니다. 고민할 필요 없이 보다가 궁금한 순간에만 개입하면 되는 셈입니다.

만약 목표대로 응답 시간이 6초 안쪽으로 단축된다면, 교육이나 팟캐스트 등 방대한 영상 아카이브의 가치는 완전히 달라질 수 있습니다. 지나간 녹화 영상이 언제든 궁금한 점을 파고들 수 있는 살아있는 지식 저장소로 변하기 때문입니다.

물론 넘어야 할 산도 뚜렷합니다. 수분이 걸리는 렌더링 비용을 획기적으로 줄여야 하는 공학적 과제는 물론, 신뢰받는 인물의 목소리로 새로운 말을 만들어내는 과정에서 발생하는 딥페이크 논란은 피하기 어렵습니다. 연구팀이 안전장치를 공개적으로 마련하기 위해 데모를 발표했다고 밝혔지만, 상용화까지는 여전히 풀어야 할 숙제가 많아 보입니다.