Tiiny AI, 주머니 속 AI 슈퍼컴퓨터 공개: 120B 모델 오프라인 구동

1200억 개 파라미터 규모의 거대언어모델을 클라우드 연결이나 고성능 그래픽카드 없이 주머니에 넣고 다닐 수 있을까요?

미국 딥테크 스타트업 Tiiny AI가 지난 12월 10일 선보인 개인용 AI 슈퍼컴퓨터 Tiiny AI Pocket Lab이 바로 그런 기기입니다. 이 제품은 기네스 세계기록으로부터 세계에서 가장 작은 개인용 AI 슈퍼컴퓨터로 공식 인증을 받았습니다.

보조배터리 크기에 담긴 120B 모델 구동 능력

Pocket Lab의 외형은 일반적인 보조배터리와 매우 흡사합니다. 하지만 내부에는 12코어 ARMv9.2 CPU가 탑재되어 있으며, 전력 소모량은 65W에 불과합니다.

이 작은 기기는 실제 작업의 80% 이상을 처리할 수 있는 10B에서 100B 파라미터 모델을 기본 타깃으로 삼습니다. 최대 120B 모델까지 지원하여, 인터넷이 끊긴 완전한 오프라인 환경에서도 복잡한 다단계 추론을 수행할 수 있습니다.

핵심은 저전력 구동을 가능케 한 두 가지 소프트웨어 기술입니다. 필요한 뉴런만 선별적으로 활성화해 연산량을 줄이는 TurboSparse 기술과, 깃허브 스타 8000개 이상을 기록한 오픈소스 엔진 Powerinfer를 적용했습니다. 이를 통해 CPU와 NPU 간 작업 부하를 효율적으로 분산했습니다.

딥시크부터 주요 에이전트 툴까지 원클릭 지원

오픈소스 생태계와의 호환성도 갖췄습니다. Llama, Qwen, DeepSeek, Mistral, Phi, GPT-OSS 같은 인기 모델을 원클릭으로 설치해 실행할 수 있습니다.

OpenManus, ComfyUI, Flowise, SillyTavern 같은 인기 워크플로 도구도 손쉽게 연동됩니다. 모든 데이터와 문서는 금융권 수준의 암호화 기술로 기기 내부에만 저장되므로 프라이버시가 완벽히 보장됩니다. 정식 하드웨어 시연은 2026년 1월 CES에서 진행될 예정입니다.

왜 중요한가

우리는 이 기기가 민감한 소스코드를 다루는 개발자나 보안이 필수적인 연구원, 외부 유출을 꺼리는 창작자에게 확실한 실익을 준다고 봅니다. 매달 지불하는 클라우드 API 비용을 아끼면서 데이터 주권을 온전히 지킬 수 있기 때문입니다.

엔비디아의 고가 GPU 대신 희소 연산 최적화와 ARM 아키텍처를 결합해 65W라는 초저전력 폼팩터를 구현한 전략은 매우 영리해 보입니다. 전력 소비와 환경 문제가 대두되는 대규모 데이터센터 모델에 대안을 제시한 셈입니다.

다만 실제 체감 성능은 냉정하게 따져볼 필요가 있습니다. 65W 전력 한도 내에서 120B 모델을 돌릴 때 초당 몇 토큰을 출력할 수 있을지, 발열 제어가 원활할지는 여전히 의문입니다. 따라서 지금 성급하게 구매를 결정하기보다는 1월 CES 현장에서 공개될 실측 벤치마크를 확인하고 판단하는 편이 합리적입니다.