퍼플렉시티, 하이브리드 추론 오케스트레이터 발표: 민감 데이터는 로컬에, 고성능 작업은 클라우드로

재무 기록이나 진료 내역 같은 민감한 문서를 최신 AI 모델에 통째로 맡기기는 늘 꺼림칙합니다. 그렇다고 노트북에서 실행되는 로컬 소형 모델에만 기대자니 성능과 추론 능력이 한참 떨어집니다.

퍼플렉시티(Perplexity)가 이 간극을 메우기 위한 해법을 내놓았습니다. 6월 2일, 퍼플렉시티는 개인용 컴퓨터(Personal Computer) 제품군을 위한 로컬-서버 하이브리드 추론 오케스트레이터를 발표하고 오는 7월 공식 출시한다고 밝혔습니다.

민감한 정보는 기기에 두고, 고난도 연산만 클라우드로

이 시스템의 핵심은 작업의 흐름을 지능적으로 분기하는 데 있습니다. 사용자가 매번 로컬 모드와 클라우드 모드 중 하나를 수동으로 선택할 필요가 없습니다.

사용자 기기 내부에서 실행되는 소형 모델이 작업을 먼저 살펴본 뒤, 금융 거래 내역이나 건강 정보, 개인 파일 같은 민감한 데이터가 포함된 부분은 기기 밖으로 나가지 못하게 격리합니다.

반면 대규모 프론티어 모델의 깊이 있는 연산이 필요한 복잡한 단계만 따로 떼어내 클라우드 서버의 AI 에이전트로 전송합니다. 기기와 서버에서 각자 처리된 결과는 시스템이 다시 매끄럽게 통합합니다.

이번 기술은 인텔과의 협력을 통해 공개되었으며, 엔비디아의 RTX 스파크(RTX Spark) 실리콘도 함께 지원합니다. 사용자 하드웨어의 성능이 뛰어날수록 로컬에서 처리하는 비중이 늘어나고 서버 자원을 아낄 수 있는 구조입니다.

내 노트북이 데이터센터가 되는 시대

퍼플렉시티는 이 아키텍처가 전 세계적인 AI 연산 자원 부족 현상을 완화하는 현실적인 대안이라고 강조합니다.

일상적인 작업과 민감한 데이터 처리가 사용자가 이미 소유한 기기로 분산되면, 거대 집중형 데이터센터를 끊임없이 새로 지어야 할 부담이 크게 줄어듭니다. 각국이 데이터 유출을 막기 위해 전용 데이터센터를 무리하게 세우지 않더라도 데이터 주권을 자연스럽게 지킬 수 있다는 설명입니다.

또한 퍼플렉시티는 자사의 사업 모델이 클라우드 토큰을 최대한 많이 소비시켜 돈을 버는 구조가 아니라 정확한 답변을 제공하는 데 목적이 있다고 덧붙였습니다. 그렇기 때문에 와트당 토큰 효율을 극대화하고 불필요한 서버 연산을 줄일 유인이 회사에 충분하다는 점을 내세웠습니다.

왜 중요한가

기밀 계약서나 환자 기록, 개인 자산 명세를 다루는 전문직 종사자나 일반 사용자에게 이 하이브리드 접근법은 프라이버시 침해 우려 없이 최신 AI를 활용할 수 있는 매우 실용적인 통로가 될 수 있습니다. 다만 출시 시점이 7월로 예정되어 있어 당장 직접 검증해볼 수는 없습니다.

업계 전체로 보면 애플이나 마이크로소프트 역시 온디바이스와 클라우드의 결합을 꾸준히 시도해 왔지만, 퍼플렉시티는 이를 작업 단위별로 잘게 쪼개는 동적 에이전트 오케스트레이션 개념으로 접근했습니다. 이는 인텔과 엔비디아의 차세대 온디바이스 AI 칩에 뚜렷한 실전 활용처를 마련해 준 셈입니다.

우리는 퍼플렉시티의 이번 선택이 매우 영리하다고 평가합니다. 서버 추론 비용의 상당 부분을 사용자 하드웨어로 분산시키면서도 데이터 프라이버시 보호라는 명분을 완벽하게 챙겼기 때문입니다.

하지만 잠재적인 맹점도 분명합니다. 무엇을 로컬에 남기고 무엇을 클라우드로 보낼지 판별하는 핵심 역할을 로컬의 소형 모델이 도맡게 됩니다. 만약 이 경량 모델이 민감 정보를 제대로 걸러내지 못해 서버로 유출하거나, 반대로 문맥을 지나치게 숨겨 클라우드 거대 모델이 엉뚱한 답변을 내놓는다면 하이브리드 시스템 특유의 장점은 순식간에 퇴색될 수 있습니다.