OpenAI, ‘예측 출력’ 기능 공개: GPT-4o 코드 수정과 문서 업데이트 가속

코드 몇 줄을 고치기 위해 모델이 변경되지도 않은 수백 줄의 코드를 처음부터 다시 타이핑하는 모습을 기다려본 사람이라면 그 지연 시간이 얼마나 답답한지 잘 알 것입니다.

OpenAI는 11월 4일 gpt-4o와 gpt-4o-mini의 응답 지연을 대폭 단축해 주는 신기능 'Predicted Outputs'를 공개했습니다.

참조 텍스트로 불필요한 생성을 건너뛰는 방식

이 기능의 핵심은 API 호출 시 '참조 문자열(reference string)'을 함께 전달하는 데 있습니다.

기존 문서나 파일을 수정할 때는 대부분의 내용이 그대로 유지됩니다. 모델에 원본 텍스트를 미리 알려주면 바뀌지 않은 부분을 일일이 새로 예측하지 않고 바로 건너뛸 수 있어 응답 속도가 크게 빨라집니다.

OpenAI는 문서 내 블로그 글 업데이트, 이전 답변을 바탕으로 한 반복 수정, 기존 파일의 코드 재작성 등을 대표적인 가속 시나리오로 제시했습니다.

왜 중요한가

기존 텍스트를 부분 수정하는 작업은 코딩 어시스턴트와 에디터 도구에서 가장 흔하게 일어나는 작업입니다. 사소한 수정을 위해 파일 전체가 다시 스트리밍되기를 기다려야 했던 구조는 생산성을 갉아먹는 요인이었습니다.

Predicted Outputs는 개발 도구와 협업 편집기의 핵심 병목을 영리하게 해결한 조치로 보입니다. IDE 확장 프로그램이나 문서 편집 툴을 만드는 개발자라면 사용자 체감 속도를 즉각적으로 끌어올릴 수 있습니다.

다만 이 기능은 gpt-4o와 gpt-4o-mini에서만 작동하며, 사전에 대조할 수 있는 원본 텍스트가 반드시 있어야 합니다. 백지상태에서 새로운 결과물을 만들어내는 작업에는 속도 개선 효과가 없습니다.