macOS版ChatGPT、VS CodeやXcodeなど他アプリのコード直接読み取りに対応

コードにエラーが出るたびにエディタから数十行をコピーし、ChatGPTを開いて貼り付け、「どこがおかしいか教えて」と入力する。多くの開発者にとって、これはもはや指先が覚えた作業ルーティンでしょう。

OpenAIはこの無駄な手間を省く新機能「Work with Apps」をmacOS版ChatGPTデスクトップアプリに投入しました。

対象となるのは、VS Code、Xcode、TextEdit、Terminal、iTerm2といった開発者向けツールです。この機能を有効にすると、ユーザーが作業中のコードがプロンプト送信時に自動でコンテキストとして添えられます。

20年来のmacOSアクセシビリティ機能を活用

AIにPC画面の状況を把握させるのは、現在エージェント開発における最大の難関の一つです。OpenAIでデスクトップ製品を率いるAlexander Embiricos氏によると、今回の機能は主にmacOSに古くからあるアクセシビリティAPIを活用しています。

これはAppleの「VoiceOver」などを支えてきた約20年の歴史を持つ仕組みで、一般的なアプリのテキスト読み取りに関しては非常に安定しています。

ただし、マイクロソフトのVS Codeなど一部の環境では専用の拡張機能を追加する必要があります。また、あくまでスクリーンリーダーの仕組みに依存しているため、画像や動画、画面上のレイアウトといった視覚的要素をChatGPTが認識することはできません。

データの取得方法としては、アプリによって直近のコード200行が送信されるか、最前面にあるウィンドウのコード全体が読み込まれます。特定の部分を選択して注目させることもできますが、周辺のコードも同時に送られるため、インプットトークンの消費量は相応に増えそうです。

読めるが、書き戻しはまだ人間任せ

デモでは、OpenAIのスタッフがXcodeで地球が欠落した太陽系のモデリングプロジェクトを開き、ChatGPT側のXcodeタブを選んで「足りない惑星を追加して」と指示しました。

ChatGPTは見事にプロジェクトの書式に沿った地球のコードを生成しました。しかし、CursorやGitHub Copilotのようにエディタ内へ直接コードを書き込むことはできません。最終的には人間がコードをコピーしてXcodeに貼り直す必要があります。

本機能はPlusおよびTeamユーザー向けに即日提供され、今後数週間でEnterpriseやEduにも拡大される予定です。OpenAIは今後、文章作成などのテキスト系アプリにも対応を広げるとしています。

なぜ重要か

私たちは、OpenAIが非常に現実的でスマートな妥協点を選んだと評価しています。

競合のAnthropicは画面のスクリーンショットを解析して他アプリを操作するアプローチを打ち出しましたが、汎用性が高い反面、動作が遅くミスも目立ちます。OpenAIは視覚認識の難題をいったん避け、信頼性の高いOS標準のテキストAPIを利用することで、実用的な速度と精度を優先しました。

Cursorのような専用AIエディタに乗り換えず、普段のXcodeやターミナルを使い続けたい開発者にとって、質問のたびにコードをコピペする摩擦が消えるメリットは大きいです。

何より、これは本格的なAIエージェントへの確実な足がかりです。BloombergはOpenAIが「Operator」というコードネームの汎用エージェントを2025年初頭にも投入すると報じています。直接のファイル編集ができないため今はまだ「気の利く相談相手」にとどまりますが、AIがローカルアプリを覗き込めるようになった意味は小さくありません。