앤트로픽, 클로드에 메시지 스레드 도입…대화 기록 재전송 없애 지연 시간 35% 단축

복잡한 코딩 작업을 AI 에이전트에게 맡겨본 개발자라면 대화가 길어질수록 첫 마디를 떼기까지 걸리는 지연 시간이 얼마나 답답한지 잘 알고 있을 것입니다.

앤트로픽이 이 병목을 해결하기 위해 클로드 메시지 API에 '메시지 스레드' 퍼블릭 베타를 출시했습니다. 장시간 실행되는 세션에서 매 턴마다 전체 대화 기록을 다시 보낼 필요 없이 새 메시지만 전송하도록 만든 기능입니다.

대화 재전송 없애 첫 토큰 지연 35% 단축

코딩 에이전트는 작업 하나를 처리하면서 수백 번의 요청을 주고받습니다. 도구 실행 결과나 코드 수정 내역이 계속 누적되어 세션이 수십만 토큰에 도달하면, 전체 대화 내용을 다시 전송하는 네트워크 부하 때문에 클로드가 응답을 시작하기까지 걸리는 시간이 크게 늘어납니다.

메시지 스레드를 적용하면 첫 요청에서 전체 대화를 전달해 스레드를 생성한 뒤, 다음부터는 스레드 파라미터와 이전 응답 ID, 새로 추가된 메시지만 전송하면 됩니다.

현재 대다수 클로드 코드 사용자에게 이 기능이 기본 활성화되어 있으며, 50만에서 100만 토큰 규모의 세션에서 첫 토큰 생성 지연 시간 중앙값이 약 35% 줄어드는 것으로 나타났습니다.

데이터는 메모리에 암호화된 상태로 보관되며 디스크에는 전혀 기록되지 않습니다. 마지막 요청 이후 5분 동안 활동이 없으면 스레드가 만료되며, 클라이언트는 다음 요청 때 전체 대화를 다시 전달해 새 스레드를 열면 됩니다.

이 기능은 자체 클로드 플랫폼을 비롯해 AWS, 마이크로소프트 파운드리, 구글 클라우드 환경에서 모두 지원됩니다. 클로드가 내부적으로 전체 대화를 읽어 처리하는 방식은 동일하므로 토큰 사용량과 과금 기준은 기존과 같습니다.

왜 중요한가

이번 업데이트는 겉보기에 단순한 API 최적화처럼 보이지만, 장시간 작동하는 에이전트 환경의 가장 큰 약점을 정확히 겨냥했다고 평가할 수 있습니다.

클로드 코드로 대규모 프로젝트를 진행하거나 자율 에이전트를 개발하는 엔지니어에게 첫 토큰 지연 35% 단축은 체감 작업 리듬을 완전히 바꿔놓을 만한 변화입니다. 특히 화면 스크린샷을 반복해서 처리해야 하는 컴퓨터 사용 에이전트 환경에서는 매번 대용량 이미지를 다시 올리지 않아도 되므로 통신 낭비가 획기적으로 줄어듭니다.

데이터를 영구 저장하지 않고 메모리에서 5분 동안만 암호화해 유지하는 방식도 매우 영리합니다. 데이터 저장에 따른 보안 부담을 피하면서 실제 작업이 활발히 일어나는 구간의 효율을 극대화했기 때문입니다.

토큰 처리 비용 자체가 줄어들지는 않는다는 점은 아쉽지만, 백만 토큰 단위의 초장문 컨텍스트가 보편화되는 흐름 속에서 전송 지연을 선제적으로 줄여낸 앤트로픽의 인프라 개선은 실전 에이전트 구축의 실용성을 한 단계 끌어올렸습니다.