맥용 챗GPT, VS 코드·엑스코드 등 다른 앱 코드 직접 읽는다

코딩 중 오류가 나면 에디터에서 수십 줄을 긁어 복사한 뒤 챗GPT 창으로 넘어가 붙여넣고 질문을 던지는 일, 개발자들에게는 익숙하다 못해 지겨운 과정입니다.

오픈AI가 이 번거로운 손동작을 줄여줄 macOS용 챗GPT 데스크톱 앱 신기능 '워크 위드 앱스(Work with Apps)'를 발표했습니다.

지원하는 프로그램은 개발자들이 주로 쓰는 VS 코드, 엑스코드(Xcode), 텍스트편집기(TextEdit), 터미널(Terminal), iTerm2 등입니다. 이 기능을 켜두면 별도로 코드를 복사하지 않아도 작업 중이던 코드가 프롬프트와 함께 문맥으로 자동 전송됩니다.

20년 된 맥 접근성 API를 빌려 코드를 읽다

화면 속 다른 앱을 AI가 스스로 이해하게 만드는 것은 에이전트 기술의 가장 큰 난제 중 하나입니다. 오픈AI의 데스크톱 제품 총괄 알렉산더 엠비리코스에 따르면, 이번 기능은 macOS에 내장된 접근성 API(Accessibility API)를 바탕으로 작동합니다.

애플의 보이스오버 기능을 뒷받침해 온 이 기술은 20년 가까이 검증된 방식이라 일반적인 텍스트를 읽어내는 안정성이 뛰어납니다.

다만 마이크로소프트의 VS 코드 같은 일부 앱에서는 전용 확장 프로그램을 따로 설치해야 내용을 조회할 수 있습니다. 또한 텍스트 기반 스크린 리더 원리를 쓰기 때문에 이미지나 객체 배치, 동영상 같은 시각적 요소는 챗GPT가 전혀 보지 못합니다.

동작 방식도 주의할 부분이 있습니다. 일부 앱에서는 커서 주변의 최근 200줄을 보내고, 다른 앱에서는 활성화된 창 전체 코드를 한꺼번에 프롬프트에 담습니다. 특정 영역을 드래그해 지정할 수도 있지만 주변 텍스트까지 함께 포함되어 입력 토큰을 제법 많이 소모하게 됩니다.

읽기는 하지만, 코드 입력은 여전히 사람 몫

실제 시연에서 오픈AI 직원은 지구 데이터가 빠진 태양계 모델 엑스코드 프로젝트를 열어두고 챗GPT에서 엑스코드 탭을 선택한 뒤 누락된 행성을 추가해 달라고 요청했습니다.

챗GPT는 프로젝트 형식에 딱 맞는 지구 코드를 정확히 작성해 냈습니다. 하지만 커서(Cursor)나 깃허브 코파일럿처럼 에디터에 코드를 곧바로 타이핑해 넣어주지는 못합니다. 결국 생성된 코드를 복사해 원래 에디터에 다시 붙여넣어야 했습니다.

이 기능은 현재 플러스 및 팀 사용자에게 먼저 배포되었으며, 몇 주 내에 엔터프라이즈와 에듀 계정으로 확대됩니다. 오픈AI는 향후 문서 작성용 텍스트 앱으로 지원 대상을 넓힐 계획입니다.

왜 중요한가

우리는 오픈AI가 대단히 실용적인 방식으로 첫 단추를 끼웠다고 봅니다.

경쟁사인 앤트로픽은 데스크톱 화면을 스크린샷으로 찍어 분석하는 방식을 택했는데, 범용성은 높을지언정 반응이 느리고 오작동이 잦습니다. 반면 오픈AI는 시각 처리 대신 검증된 OS 텍스트 API를 빌려 쓰며 즉각적이고 정확한 응답을 챙겼습니다.

커서 같은 전용 AI 에디터로 완전히 갈아타지 않고 기존 엑스코드나 터미널 환경을 고수하는 개발자라면 매번 창을 오가며 코드를 복사하던 피로감을 확실히 덜 수 있습니다. 다만 매 요청마다 수백 줄의 코드가 들어가므로 토큰 한도 관리는 염두에 두어야 합니다.

더 중요한 것은 에이전트를 향한 로드맵입니다. 블룸버그는 오픈AI가 2025년 초 출시를 목표로 범용 에이전트 '오퍼레이터(Operator)'를 준비 중이라고 보도한 바 있습니다. 아직 코드를 직접 고쳐 쓰지 못해 반쪽짜리 비서에 가깝지만, AI가 내 컴퓨터 안의 작업 내용을 직접 들여다보기 시작했다는 점에서 의미 있는 진전입니다.