앤트로픽, 클로드의 컨텍스트 창을 10만 토큰으로 대폭 확장

수십 장짜리 재무제표나 두꺼운 기술 문서를 대형 언어 모델에 넣으려다 입력 길이 제한에 걸려 답답했던 적이 있을 것입니다.

Anthropic이 이 한계를 크게 넓혔습니다. 이들은 Claude의 컨텍스트 윈도를 기존 9K 토큰에서 100K 토큰으로 대폭 확장했다고 발표했습니다. 영어 기준으로 약 7만 5천 단어, 수백 쪽에 달하는 방대한 분량을 한 번에 처리할 수 있는 크기입니다.

7만 단어 소설 속 숨은 문장을 22초 만에 포착

10만 토큰은 일반적인 사람이 읽는 데만 5시간 이상 걸리는 분량입니다. 내용을 기억하고 분석하는 데는 훨씬 더 오랜 시간이 필요합니다.

Claude는 이 분량을 1분도 채 안 되는 시간에 읽어냅니다.

Anthropic은 이를 시험하기 위해 소설 위대한 개츠비 전문인 약 7만 2천 토큰을 Claude-Instant에 입력했습니다. 그리고 본문 중 한 줄을 슬쩍 고쳐 캐러웨이 씨가 Anthropic에서 머신러닝 도구를 개발하는 소프트웨어 엔지니어라고 바꿨습니다.

모델에게 무엇이 달라졌는지 묻자, Claude는 단 22초 만에 해당 수정 문장을 찾아냈습니다.

파트너 기업들의 활용도 이어지고 있습니다. AssemblyAI는 약 6시간 분량의 팟캐스트 오디오를 5만 8천 단어의 텍스트로 변환한 뒤 Claude에 넣어 요약과 질의응답을 진행하는 데모를 선보였습니다.

현재 100K 컨텍스트 윈도는 Anthropic의 API를 통해 바로 사용할 수 있습니다.

조각내어 검색하던 번거로움을 생략하다

지금까지 긴 문서를 다룰 때는 텍스트를 작게 쪼개 벡터 데이터베이스에 넣고 검색하는 방식을 주로 썼습니다.

하지만 문서 여러 곳의 맥락을 종합해 판단해야 하는 복잡한 질문의 경우, 조각난 검색 결과만으로는 전체 흐름을 놓치기 쉬웠습니다.

100K 토큰을 지원하면 복수의 연례 보고서, 수십 장짜리 법안, 심지어 소프트웨어 코드베이스 전체를 프롬프트 하나에 통째로 집어넣을 수 있습니다. 마치 전문 보조자에게 책 한 권을 건네주고 전체 내용을 바탕으로 분석을 요청하는 것과 같은 작업 방식이 가능해집니다.

왜 중요한가

우리는 이번 발표가 대형 언어 모델의 실질적인 업무 활용도를 한 단계 끌어올린 중요한 움직임이라고 봅니다.

기업과 개발자 관점에서 가장 큰 이점은 복잡한 데이터 파이프라인의 구축 부담이 크게 줄어든다는 점입니다. 수백 쪽 분량의 자료라면 번거로운 벡터 검색 파이프라인을 세세하게 튜닝할 필요 없이, API 호출 한 번으로 모델에 통째로 넘겨 분석할 수 있게 됩니다.

물론 현실적인 제약도 분명합니다. 10만 토큰을 한 번에 전송할 경우 API 호출 비용과 응답 지연 시간이 크게 늘어나므로, 단순한 질의에 쓰기에는 비효율적입니다.

또한 소설 속에서 조작된 문장 하나를 찾는 실험과, 여러 사실관계가 뒤엉킨 복잡한 계약서에서 미묘한 리스크를 추론하는 실무 작업 사이에는 난이도 차이가 큽니다. 모델이 초장문 안에서 정보를 얼마나 끝까지 왜곡 없이 기억하는지는 다양한 도메인에서 검증이 필요합니다.

그럼에도 불구하고 책 한 권을 통째로 기억 장치에 올려놓고 대화하는 시대를 먼저 열어젖혔다는 점에서, 경쟁 모델 공급사들에게 상당한 기술적 압박으로 작용할 것으로 보입니다.