Tiiny AIが手のひら大のAIスパコン発表：120Bモデルを完全オフライン動作

1200億パラメータの巨大言語モデルを、クラウドにも外部GPUにも頼らず、ポケットに入るサイズの端末だけで動かす。そんなSFのようなハードウェアが登場しました。

米国のディープテック系スタートアップTiiny AIは12月10日、パーソナルAIスーパーコンピュータ「Tiiny AI Pocket Lab」を発表しました。この端末は、ギネス世界記録から「世界最小の個人向けAIスーパーコンピュータ」として正式に認定されています。

モバイルバッテリーの外見に65Wの省電力設計

Pocket Labの外観は一般的なモバイルバッテリーとほぼ同じサイズ感です。しかし内部にはARMv9.2アーキテクチャの12コアCPUを搭載し、わずか65Wの消費電力で駆動します。

本機は日常タスクの8割以上をカバーできる10Bから100B規模のモデルを軽快に動かすよう設計されています。さらに最大120Bのモデルまで拡張可能で、完全オフラインの環境でも高度な推論を実行できるとしています。

これを可能にしたのが2つのコア技術です。必要なニューロンのみを選択的に活性化させる「TurboSparse」と、GitHubで8000以上のスターを獲得しているオープンソース推論エンジン「Powerinfer」です。これらによりCPUとNPUの間でワークロードを最適に分散し、極めて低い消費電力を実現しました。

主要なオープンソースモデルをワンクリックで導入

ソフトウェア側のエコシステムも整備されています。Llama、Qwen、DeepSeek、Mistral、Phi、GPT-OSSといった主要なオープンモデルをワンクリックでインストール可能です。

さらにComfyUIやFlowise、OpenManus、SillyTavernといったエージェントツールも簡単にセットアップできます。データや対話履歴は銀行レベルの暗号化を施してローカルに保持されるため、外部へのデータ漏洩を防ぎながら長期記憶を維持できます。正式なお披露目は2026年1月のCESで行われる予定です。

なぜ重要か

私たちは、この製品が機密情報や独自の知的財産を扱うクリエイターや研究者、プライバシーを最優先する開発者にとって魅力的な選択肢になると考えています。巨大なワークステーションを置くスペースがない環境でも、手元で完結する安全な環境が手に入ります。

高価な専用GPUを詰め込むのではなく、スパース化技術とオープンソースの推論エンジンを組み合わせて65WのARMプロセッサで動かすというアプローチは、非常に理にかなっています。データセンターの電力不足が叫ばれる中、エッジAIの新しい方向性を示しています。

ただ、気になるのは実際のトークン生成速度と発熱です。120Bものモデルを65Wの枠内で動かすとなると、実用的なレスポンス速度を維持できるのか疑問が残ります。今すぐ飛びつくというよりは、CESで公開される実機ベンチマークを確認してから導入を判断するのが賢明だと見ています。