엔비디아, PC 로컬 챗봇 'Chat with RTX' 무료 공개: 내 문서·유튜브 영상으로 대화

개인 문서나 업무 자료를 AI로 요약하고 싶지만, 민감한 데이터를 클라우드 서버에 올리기 꺼려졌던 사용자들에게 반가운 소식이 나왔습니다.

엔비디아는 윈도우 PC에서 로컬로 구동되는 맞춤형 AI 챗봇 기술 데모인 'Chat with RTX'를 무료로 배포했습니다. 최소 8GB 이상의 VRAM을 갖춘 지포스 RTX 30 또는 40 시리즈 그래픽카드가 탑재된 PC라면 누구나 실행할 수 있습니다.

로컬 문서부터 유튜브 영상 자막까지 분석

Chat with RTX의 핵심은 검색 증강 생성(RAG)과 엔비디아의 TensorRT-LLM 소프트웨어입니다. 이를 통해 미스트랄이나 라마 2 같은 오픈소스 거대언어모델을 사용자의 로컬 파일과 손쉽게 연결합니다.

txt, pdf, doc, docx, xml 등 다양한 파일 포맷을 지원합니다. 해당 문서들이 담긴 폴더를 지정하기만 하면 몇 초 만에 라이브러리로 불러옵니다. 예를 들어 여행 중 지인이 추천해 준 식당 이름을 물어보면, 내 PC 안의 메모를 뒤져 문맥에 맞는 답변을 찾아줍니다.

유튜브 영상이나 재생목록 URL을 입력해 내용을 검색하는 기능도 들어갔습니다. 영상 자막을 자동으로 읽어와 특정 발언 위치를 찾거나 영상 전체를 요약해 줍니다.

더 버지의 핸즈온 테스트에 따르면, 수많은 소송 문서를 분석해 핵심 전략을 요약하거나 복잡한 PDF를 스캔하는 작업에서 클라우드 기반 챗봇 특유의 지연 시간 없이 거의 즉각적인 답변을 내놓았습니다.

40GB 용량과 거친 완성도

다만 일반 소비자가 매끄럽게 쓰기에는 아직 기술 실증 데모 수준에 가깝습니다.

우선 프로그램 용량이 약 40GB에 달하며, 고사양 시스템에서도 설치에 30분 안팎이 걸립니다. 로컬 웹 서버와 파이썬 인스턴스를 직접 구동하는 방식이라 뒷단에서 명령 프롬프트 창이 계속 돌아갑니다. 엔비디아에 따르면 기본 경로가 아닌 다른 디렉터리에 설치할 경우 오류가 발생하는 문제도 있습니다.

버그와 기능적 한계도 뚜렷합니다. 2만 5천 개의 문서를 한 번에 색인하려다 앱이 강제 종료되거나, 엉뚱한 유튜브 영상의 자막을 긁어오는 오류가 보고되었습니다. 특히 대화의 맥락을 기억하지 못해 직전 답변을 바탕으로 꼬리 질문을 던질 수 없다는 점은 실사용에서 꽤 답답한 부분입니다.

왜 중요한가

우리는 Chat with RTX가 데이터 보안이 필수적인 전문직과 월 구독료에 피로감을 느끼는 사용자들에게 로컬 AI의 확실한 대안을 제시했다고 봅니다. 민감한 문서를 외부 서버로 전송하지 않고 오프라인 상태에서 즉각 분석할 수 있다는 점은 코파일럿 프로나 챗GPT 유료 구독과 비교해도 확실한 경쟁력입니다.

하지만 지금 당장 일반 사용자가 업무 메인 툴로 쓰기에는 무리가 있습니다. 40GB라는 과도한 용량, 대화 문맥 미지원, 지정 폴더 안에 JSON 색인 파일을 직접 생성하는 불안정한 구조를 감안하면 어디까지나 얼리어답터용 실험작에 가깝습니다.

업계 관점에서 보면 엔비디아의 하드웨어 생태계 굳히기 전략이 돋보입니다. 데스크톱 GPU에서도 TensorRT-LLM을 거치면 체감 속도가 클라우드보다 빠를 수 있음을 입증하면서, PC 시장의 주도권을 클라우드 AI 기업들로부터 다시 하드웨어 쪽으로 끌어오려는 포석으로 풀이됩니다.