상하이 AI 랩, 1M 컨텍스트 지원하는 오픈소스 'InternLM 2.5-7B' 공개

InternLM 2.5-7B는 상하이 인공지능 연구소가 공개한 오픈소스 경량 언어 모델로, 초장문 텍스트 분석과 도구 활용 능력을 일반적인 하드웨어 환경에서도 원활하게 돌릴 수 있도록 맞춘 프로젝트입니다.

어떤 기능을 갖췄나

가장 눈에 띄는 스펙은 최대 100만 토큰(1M)에 달하는 방대한 컨텍스트 윈도우입니다. 두꺼운 서적이나 방대한 코드베이스 전체를 복잡하게 조각내지 않고도 프롬프트에 그대로 넣어 처리할 수 있습니다.

성능 면에서도 성과를 보였습니다. 상하이 AI 랩에 따르면 허깅페이스(Hugging Face) Open LLM 리더보드의 12B 이하 모델 부문에서 가장 우수한 성능을 기록했습니다. 긴 문맥 소화력뿐 아니라 추론 능력과 외부 도구 호출 역량도 함께 대폭 끌어올렸습니다.

관련 가중치와 모델 모음은 허깅페이스의 internlm/internlm25 컬렉션에 바로 공개되어 있어 누구나 자유롭게 내려받아 실험해볼 수 있습니다.

왜 중요한가

100만 토큰급의 초장문 처리를 7B급 소형 모델에 안정적으로 담아냈다는 점은 개발자들에게 무척 실용적인 소식입니다. 대규모 상용 모델을 API로 호출하지 않고도 로컬 환경에서 긴 문서를 직접 다룰 수 있는 길이 열렸기 때문입니다.

독립 개발자나 연구자 입장에서 로컬 기반 에이전트를 만들거나 긴 기술 문서를 분석해야 한다면, 지금 바로 설치해서 시험해볼 만한 가치가 충분합니다.