퍼플렉시티, 온디바이스 AI 에이전트 '컴퓨터' 공개: 로컬 실행으로 비용·보안 해결

기업의 내부 기밀이나 개인적인 문서를 클라우드 AI에 통째로 전송하는 일은 늘 데이터 유출과 눈덩이처럼 불어나는 API 비용이라는 부담을 안겨줍니다.

Perplexity가 8월 25일 발표한 'Computer'는 이러한 고민을 겨냥한 로컬 우선(Local-First) AI 에이전트 시스템입니다. 전용 기기인 Perplexity Portable Computer를 위해 개발된 이 시스템은 모델, 작업 실행 프레임워크(harness), 대화 내역, 실행 궤적 전체를 사용자의 로컬 하드웨어 안에서만 처리합니다.

웹 검색이나 외부 커넥터 연동, 클라우드 고성능 모델 호출처럼 외부 연결이 꼭 필요한 순간에만 사용자의 명시적인 승인을 받아 외부로 나갑니다. 중요한 데이터가 기기 밖으로 무단 유출되지 않으며, 로컬 추론이므로 토큰 사용료도 발생하지 않습니다.

작은 모델에 맞게 하네스를 새로 짜다

최근 Qwen 3.8 27B나 NVIDIA Nemotron 3.5 Lightning 30B 같은 소형 오픈소스 모델의 성능이 비약적으로 발전했고, NVIDIA DGX Spark 같은 온디바이스 추론 하드웨어가 이를 뒷받침하고 있습니다.

하지만 Pi나 Hermes 같은 기존 오픈소스 에이전트 프레임워크는 대규모 클라우드 모델을 전제로 만들어졌습니다. 작은 온디바이스 모델에게 거대한 시스템 프롬프트와 방대한 도구 목록을 그대로 쥐여주면 쉽게 과부하가 걸립니다.

Perplexity의 테스트 결과, Qwen 3.8 27B는 스펙상 260K 토큰의 문맥을 지원하지만 실제로는 100K를 넘어가면 추론 성능이 급격히 저하되었습니다. 이에 따라 Computer는 핵심 시스템 프롬프트를 최소화하고, 데이터 시각화나 코딩 같은 기능은 필요할 때만 불러오고 즉시 메모리에서 내리는 모듈식 스킬 방식을 도입했습니다. 대화가 길어지면 오래된 문맥을 자동으로 요약 압축합니다.

또한 Gmail, GitHub, Outlook, Google Calendar 같은 연동 도구도 문맥을 과도하게 차지하는 기존 MCP 규격 대신 가벼운 CLI(명령줄 도구) 형태로 재설계했습니다.

보안 격리도 한층 엄격해졌습니다. 사용자 기본 권한으로 도구를 실행하는 기존 오픈소스 프레임워크와 달리, Computer는 OS 수준의 샌드박스를 강제합니다. 샌드박스 환경이 갖춰지지 않으면 도구 실행 자체를 거부합니다.

벤치마크로 확인한 성능과 자원 효율

NVIDIA DGX Spark에서 Qwen 3.8 27B 모델을 구동해 비교한 결과, Computer는 기존 프레임워크들을 크게 앞섰습니다.

Perplexity 자체 53개 로컬 지식 작업 벤치마크에서 Computer는 82.6%를 기록해 Pi(77.6%)와 Hermes(74.0%)를 제쳤습니다. 여기에 Perplexity가 사후 학습을 거친 PPLX 27B 모델을 적용하면 점수는 85.4%까지 올라갑니다.

1266개 웹 리서치 작업을 다룬 BrowseComp 평가에서는 자사 Search as Code 인프라를 활용해 66.7%의 정확도를 기록했습니다. 반면 Brave 검색을 사용하는 Pi는 50.2%, Hermes는 43.9%에 그쳤습니다. 실행 시간은 작업당 평균 402.1초, 소모 토큰은 85만 2천 개로, Hermes 대비 작업 시간을 61% 줄였고 Pi 대비 토큰 소모를 70% 절감했습니다.

문서 이해 능력을 측정하는 ParseBench-100에서도 Computer는 65.1%를 기록해 Hermes(34.6%)와 Pi(13.9%)를 압도했습니다. 특히 차트 이해에서는 76.5%의 높은 점수를 얻었으나, 문서 레이아웃 분석은 세 프레임워크 모두 16%대에 머물러 여전히 난제로 남았습니다.

왜 중요한가

클라우드 대형 모델을 무작정 흉내 내는 대신 온디바이스 하드웨어와 소형 모델의 체급 한계에 맞춰 소프트웨어 프레임워크를 완전히 뜯어고쳤다는 점이 핵심입니다.

사용자 입장에서는 법률 문서, 재무 제표, 미공개 소스 코드처럼 민감한 자산을 외부 유출 걱정 없이 다룰 수 있게 됩니다. 고성능 로컬 하드웨어 구입이라는 초기 비용 장벽은 존재하지만, 토큰 비용을 매달 계산하지 않고도 무제한에 가깝게 지식 작업을 자동화할 수 있다는 점은 매력적입니다.

업계 전반에도 던지는 메시지가 큽니다. 최근 유행하는 MCP 방식의 무거운 툴 정의가 소형 모델의 유효 문맥을 심각하게 갉아먹는다는 점을 지적하고, 이를 간결한 CLI와 온디맨드 스킬로 전환한 설계는 매우 현실적이고 영리한 판단으로 보입니다.

다만 복잡한 문서 레이아웃 인식은 여전히 개선이 필요하며, 이번 벤치마크가 DGX Spark라는 고사양 하드웨어 위에서 측정된 만큼 일반 보급형 랩톱 환경에서 어느 정도의 체감 성능을 보여줄지가 향후 대중화의 관건이 될 것입니다.