Macアプリ「Tapkit」登場、ClaudeやCodexが実機iPhoneを直接操作

AIエージェントにPCの画面を操作させる試みは増えていますが、スマートフォンの操作となると話は別です。特にiOSの強固なセキュリティとサンドボックスは、外部からの自動化にとって高い壁でした。

そんな状況に対し、Mac向けアプリ「Tapkit」がユニークなアプローチを打ち出しました。実機のiPhoneをMacに有線接続するだけで、ClaudeやCodexといったAIが画面を見て操作できるようになります。

脱獄もアプリ導入も不要、ケーブル一本で接続

Tapkitの最大の特徴は、iPhone側に一切の変更を加える必要がない点です。

端末に専用アプリをインストールする必要はなく、脱獄やDeveloper Modeの有効化も求められません。シミュレータではなく、手元にある本物のiPhoneをそのまま使えます。条件は、Tapkitを起動したMacにiPhoneをケーブルで物理接続することだけです。

接続後は、Tapkit内蔵のエージェントだけでなく、ClaudeやCodex、各種MCP（Model Context Protocol）クライアント、あるいはREST APIやPython SDK経由で操作できます。AIにとって、iPhoneが外部ツールのひとつとして認識される形です。

スクリーンショットを見てタップ、手動介入も可能

仕組みは人間の操作に似ています。AIが画面のスクリーンショットを取得して状況を把握し、タップやスワイプ、テキスト入力を実行します。1ステップ進むごとに画面を再確認して次の手を決めます。

本物の端末を使うため、普段利用しているApp Storeアプリ、ログイン済みの各種アカウント、通知や写真などのデータがそのまま活きます。公開APIが用意されていないサービス間でも、AIが画面を見ながら情報をやり取りできます。

Mac側からはAIの挙動をリアルタイムで監視でき、操作ログの確認や、ログイン画面での一時的な手動操作への切り替えにも対応しています。

なぜ重要か

アプリ開発者やQA担当者にとって、実機を用いた結合テストやUI巡回を手軽に自動化できる価値は非常に高いと言えます。シミュレータの設定に頭を抱えることなく、既存のClaudeなどの環境からすぐに実機へアクセスできる点は魅力的です。

Tapkitのアプローチが巧みなのは、Appleの厳しいApp Store審査とまともに戦わず、Mac側から周辺機器としてiPhoneを制御する構成をとったことです。MCPを通じて主要なLLMエコシステムと自然につながる設計も理にかなっています。

一方で、Macとの有線接続が必須である以上、外出先で日常をサポートするモバイルアシスタントとしては使えません。また、画面キャプチャに基づく視覚認識は、通信遅延やポップアップの予期せぬ表示に対して脆弱になりがちです。Apple公式がネイティブな権限を開放するまでの現実的な繋ぎ役として、どこまで実用性を高められるかが焦点になりそうです。