OpenAI、Codexに画面コンテキスト記憶機能「Chronicle」を追加

AIアシスタントに作業を手伝ってもらう際、最も手間がかかるのは質問そのものよりも前提状況の説明です。画面にどんなエラーが出ているのか、どのファイルを開いていたのかを毎回プロンプトに書き起こす作業は少なくありません。

OpenAIは、Mac版Codexアプリ向けの新機能として「Chronicle」の提供を開始しました。直近の画面コンテキストを活用して記憶の想起精度を高める機能で、現在はPro加入者向けのリサーチプレビューとして提供されています。

画面キャプチャから背景を自律学習する仕組み

CodexはOpenAIがデスクトップ向けスーパーアプリとして開発を進めているツールで、先週のアップデートで刷新版Macアプリと基礎的な記憶機能が先行公開されていました。今回のChronicleはその記憶機能を一歩進めた位置づけです。

OpenAIの説明によると、Chronicleは画面上のエラーや開いているドキュメント、さらには2週間前に取り組んでいた作業内容など、ユーザーが「これ」「あれ」と指示した際の意図を直近の画面情報から汲み取れるようにします。使い続けることで、利用するツールや頻繁に戻るプロジェクト、普段の作業フローを自律的に学習していきます。

処理の裏側では、バックグラウンドエージェントが画面キャプチャを取得しながら記憶データを生成します。キャプチャ画像と生成された記憶はローカル端末上に一時保存され、ユーザー自身が記憶内容を確認・編集することも可能です。

利用にあたっては、Codexの設定画面で「Memories」を有効化した上でChronicleをオンにし、macOSの「画面収録」および「アクセシビリティ」の権限を付与する必要があります。なお、メニューバーアプリからいつでも一時停止や無効化が行えます。

ただし制約も明示されています。現在の設計ではAPIのレートリミットを急速に消費してしまう点に加え、ローカル保存された記憶ファイルは端末内の他のアプリからもアクセスされる可能性があるとして、OpenAIは注意を促しています。

なぜ重要か

Codexが単なるプログラミング特化ツールから、より広範なビルダー向けのデスクトップ基盤へと進化しようとしている姿勢が明確に読み取れます。

ユーザーにとって、画面の内容を毎回手動でコピペして説明する手間が省けるメリットは非常に大きいです。特に複数のウィンドウを行き来しながら複雑な作業を進める開発者には強力な機能と言えます。一方で、レートリミットの消費が激しい現状を考えると、誰もが常用すべき段階というよりは、ワークフローとの相性を確かめる先行実験と位置づけるのが妥当です。

業界全体で見れば、AIが対話履歴だけでなくOSの視覚的コンテキストを常時把握する「アンビエント型」の競争に踏み込んだ格好です。バックグラウンド処理の効率化と、ローカルに保持される作業ログのセキュリティ保護をどう両立させるかが今後の大きな論点になります。