스탠퍼드대, 온디바이스 개인용 AI 프레임워크 ‘OpenJarvis’ 오픈소스 공개

OpenJarvis는 스탠퍼드대학교 연구팀이 공개한 로컬 우선 개인용 AI 에이전트 오픈소스 프레임워크입니다. 개인 비서를 기본적으로 사용자 기기 내부에서 구동하고, 클라우드는 정말 필요한 경우에만 예외적으로 호출하도록 설계되었습니다.

최근 큰 인기를 끈 OpenClaw 같은 개인용 AI 프로젝트들은 대부분 로컬 기기를 단순한 호출 인터페이스로만 쓰고, 실제 두뇌는 외부 데이터센터에 두고 있습니다. 이 때문에 개인 데이터가 외부 서버로 넘어가고, 지연 시간과 API 비용 청구에 종속될 수밖에 없었습니다. OpenJarvis는 바로 이 구조적 문제를 해결하기 위해 등장했습니다.

무엇을 할 수 있나

스탠퍼드 연구팀은 100만 건 이상의 질의와 20개 이상의 모델, 8종의 하드웨어 가속기를 조합해 대규모 벤치마크를 진행했습니다. 그 결과 일상적인 단일 턴 대화와 추론 작업의 88.7%는 로컬 모델과 온디바이스 가속기만으로도 충분히 정확하고 빠르게 처리할 수 있었습니다.

즉 외부 클라우드로 올려보내야 하는 작업은 전체의 11.3%에 불과합니다. 또한 연구팀 조사에 따르면 전력 1와트당 처리할 수 있는 지능 효율이 2023년부터 2025년 사이 5.3배나 향상되어, 이제는 개인 기기에서도 실용적인 AI 구동이 가능해졌습니다.

어떻게 동작하나

OpenJarvis는 시스템을 5가지 핵심 요소인 지능, 엔진, 에이전트, 툴 및 메모리, 학습 루프로 모듈화했습니다. 사용자는 이 전체 스택을 그대로 프로덕션 환경에 배포하거나, 필요한 모듈만 떼어내 독립적으로 튜닝할 수 있습니다.

가장 눈에 띄는 강점은 효율성 중심의 평가 도구입니다. 정답률만 따지는 기존 벤치마크와 달리, 노트북 배터리 환경을 고려해 쿼리당 전력 소비량, 지연 시간, 연산량(FLOPs), 달러 비용을 동등한 핵심 지표로 측정합니다.

여기에 로컬 상호작용 트레이스 데이터를 활용한 자체 최적화 루프를 지원합니다. 민감한 개인 데이터를 외부 서버로 단 한 줄도 전송하지 않고도 모델 가중치와 프롬프트, 에이전트 로직을 기기 안에서 직접 개선할 수 있습니다. 프레임워크는 현재 공개되어 내려받을 수 있으며, 연구팀은 전력 효율 순위표 이벤트도 함께 진행하고 있습니다.

왜 중요한가

민감한 개인정보 유출을 원천 차단하고 싶거나, 매달 청구되는 클라우드 토큰 요금 없이 오프라인에서도 돌아가는 나만의 에이전트를 구축하려는 개발자에게 OpenJarvis는 최적의 선택지입니다.

우리는 이 프로젝트가 막연한 온디바이스 찬가를 넘어, 100만 건의 테스트를 통해 일상 질의의 88.7%는 이미 로컬로 충분하다는 구체적인 셈법을 입증했다는 점에 주목합니다. 파편화되어 있던 온디바이스 AI 도구들을 파이토치(PyTorch)처럼 표준화된 스택으로 묶어냈다는 점에서 로컬 에이전트 생태계의 중요한 기준점이 될 것으로 보입니다.