바이트댄스, 파일 시스템 기반 AI 에이전트 컨텍스트 관리 시스템 'OpenViking' 오픈소스 공개

OpenViking은 바이트댄스가 오픈소스로 공개한 AI 에이전트용 컨텍스트 관리 시스템이다. 텍스트를 단순 분할한 벡터 조각으로 다루는 대신, 가상 파일 시스템을 구축해 에이전트의 기억과 자원, 스킬을 디렉터리 형태로 정리한다.

기존 RAG 방식은 평면적인 벡터 매칭에 의존해 문맥이 파편화되기 쉽고, 불필요하게 많은 텍스트가 프롬프트에 들어가 토큰 낭비가 컸다. OpenViking은 viking:// 프로토콜 기반의 가상 계층 구조로 이 문제를 해결한다.

주요 기능과 작동 방식

핵심은 L0부터 L2까지 이어지는 3단계 컨텍스트 로딩이다. L0은 약 100토큰 수준의 초록이고, L1은 최대 2000토큰의 개요이며, L2는 필요할 때만 불러오는 전체 원문이다.

에이전트는 의미 검색과 의도 분석을 결합해 디렉터리를 재귀적으로 탐색한다. 유사 시스템 벤치마크에 따르면 이런 중첩 쿼리 환경에서 검색 지연 시간을 최대 30%까지 줄일 수 있으며, 토큰 소모도 크게 아낄 수 있다.

검색 궤적의 시각화도 지원한다. 에이전트가 어떤 폴더를 탐색하고 어떤 파일을 선택했는지 경로가 그대로 기록되어 디버깅과 최적화가 수월하다.

사용 방법 및 구현

프로젝트는 Apache 2.0 라이선스로 배포된다. 인덱싱 백엔드는 고성능 C++ 확장을 사용하며, OpenAI 호환 API를 통해 비전 언어 모델(VLM)과 연동되므로 이미지와 텍스트를 함께 다룰 수 있다.

파이썬 라이브러리로 쉽게 사용할 수 있다. 로컬 경로를 지정해 클라이언트를 초기화한 뒤 웹 링크나 문서를 등록하면 시스템이 자동으로 계층별 요약을 생성한다.

세션 관리 기능도 내장되어 있어, 대화와 도구 호출 결과에서 유의미한 정보를 스스로 추출해 메모리 디렉터리에 반영하고 자체 진화한다.

왜 중요한가

장기 기억이 필요하거나 복잡한 다단계 작업을 수행하는 에이전트를 개발 중인 사람이라면 즉시 도입을 검토해 볼 만하다.

평면적인 벡터 DB보다 파일 시스템 방식이 훨씬 직관적인 계층 구조와 추적 가능성을 제공한다. 다만 데이터 자체가 어느 정도 체계적으로 분류될 수 있는 구조여야 이 재귀 탐색의 진가가 발휘된다.