엔비디아, 온디바이스 SLM '네모트론-4 4B' 공개: RTX PC서 게임 NPC와 실시간 대화

지금까지 게임 속 NPC와의 대화는 미리 짜인 스크립트 선택지를 누르는 수준에 머물러 있었습니다. 생성형 AI를 접목하려는 시도도 있었지만, 클라우드 거대 모델을 거치다 보면 발생하는 수 초의 지연 시간 때문에 몰입감이 깨지기 일쑤였습니다.

독일 쾰른에서 열린 Gamescom 2024에서 엔비디아가 이 지연 시간을 해결할 해법을 내놓았습니다. 디지털 휴먼 제작 기술 모음인 NVIDIA ACE에 탑재될 첫 온디바이스 소형 언어 모델(SLM)인 Nemotron-4 4B Instruct를 공개했습니다.

40억 개 매개변수 모델을 로컬 그래픽카드에 담다

거대 언어 모델은 방대한 범용 지식을 갖추고 있지만, 게임 캐릭터에게는 불필요한 정보가 많고 로컬 환경에서 실행하기엔 메모리 부담과 지연 시간이 너무 큽니다.

엔비디아는 경량화 기법을 택했습니다. 150억 개 매개변수를 가진 Nemotron-4 15B를 '교사' 모델로 두고, 40억 개 크기의 '학생' 모델로 지식을 증류(Distillation)했습니다. 이 과정에서 중요도가 낮은 가중치를 쳐내고 양자화(Quantization)를 거쳐 정밀도를 낮췄습니다.

그 결과 Nemotron-4 4B는 메모리 점유율을 크게 낮추면서도 첫 번째 토큰이 출력되는 시간을 비약적으로 단축했습니다. 특히 롤플레잉, 검색 증강 생성(RAG), 함수 호출(Function Calling)에 특화되도록 파인 튜닝되어, 대화 맥락을 이해하고 게임 내 실제 기능까지 명령어로 수행할 수 있습니다.

실제로 행사장에서 시연된 킹소프트 산하 어메이징 시선 게임즈의 신작 '메카 브레이크(Mecha BREAK)'에서는 플레이어가 정비사 NPC와 자연어로 대화하며 기체를 교체하거나 도색을 바꾸도록 지시하는 모습을 선보였습니다.

모듈형으로 조립하는 ACE 파이프라인

Nemotron-4 4B는 단독으로 쓰이기보다 엔비디아의 모듈형 마이크로서비스인 NIM의 핵심 구성 요소로 동작합니다. 개발자는 클라우드뿐 아니라 유저 PC의 로컬 RTX GPU에서도 이를 구동할 수 있습니다.

음성 인식 단계에서는 로컬 Whisper나 엔비디아 Riva ASR을 통해 플레이어의 목소리를 텍스트로 변환합니다. 이어 Nemotron-4 4B가 적절한 답변을 생성하면, Riva TTS나 클라우드의 일레븐랩스(ElevenLabs) 음성 모델이 소리를 만들어냅니다.

마지막 시각화 단계는 Audio2Face-3D가 담당합니다. 생성된 오디오 파일에서 감정의 강도와 톤을 직접 유추해 입술, 혀, 눈동자, 얼굴 근육 및 머리 움직임을 자동으로 동기화하고, 이를 언리얼 엔진이나 옴니버스 환경에서 실시간 렌더링합니다.

엔비디아는 이 외에도 현장에서 RTX 지원 게임 및 앱이 600개를 돌파했다고 밝혔으며, 검은 신화: 오공 등 신작에 대한 DLSS 3.5 지원과 미디어텍 모니터 스케일러에 G-Sync 기술을 내장하는 협업 성과도 함께 발표했습니다.

왜 중요한가

우리는 Nemotron-4 4B의 등장이 게임 내 생성형 AI 기술을 '기술 데모'에서 '상용화 가능한 엔지니어링' 단계로 끌어내렸다고 봅니다.

지금까지 공개된 AI NPC들은 클라우드 API 호출에 의존해 왔습니다. 이 방식은 대화가 뚝뚝 끊기는 레이턴시 문제뿐만 아니라, 유저가 말을 걸 때마다 개발사나 게이머가 감당해야 하는 API 비용 부담 때문에 대규모 적용이 사실상 불가능했습니다. 4B 모델을 온디바이스로 전환하면 연산 비용을 플레이어의 로컬 그래픽카드로 분산시키고 지연 시간도 실시간 수준으로 줄일 수 있습니다.

엔비디아의 전략 역시 영리합니다. 전 세계에 보급된 1억 대 이상의 지포스 RTX PC와 노트북, 워크스테이션을 게임 개발사를 위한 엣지 AI 인프라로 자연스럽게 전환시키고 있기 때문입니다.

다만 한계도 분명합니다. 아무리 정밀하게 지식을 증류했다고 해도 4B 크기의 모델은 수천억 매개변수의 대형 모델에 비해 복잡한 서사 추론이나 장기 기억력에서 취약할 수밖에 없습니다. 자유도 높은 대화 속에서도 게임의 퀘스트 규칙을 깨뜨리지 않도록 통제하는 작업은 여전히 게임 기획자들에게 까다로운 숙제로 남을 것입니다.