핀드, GPT-4 능가하는 코딩 모델 공개…속도 5배 빠르고 16k 지원

핀드 모델(Phind Model)은 CodeLlama-34B를 기반으로 미세조정한 오픈소스 코딩 특화 모델입니다. 높은 수준의 프로그래밍 생성 능력을 유지하면서도 GPT-3.5 수준의 빠른 반응 속도와 16k 컨텍스트 창을 기본 지원합니다.

어떤 작업을 할 수 있나

코드 생성 벤치마크인 HumanEval 평가에서 핀드 모델 V7은 74.7%를 기록하며 GPT-4의 점수를 앞질렀습니다.

고난도 기술 질의에 대해 GPT-4가 약 50초 걸리던 답변 시간을 약 10초 안팎으로 대폭 단축합니다. 코드 스니펫 생성과 버그 수정, 기술 문서 질의응답을 매끄럽게 처리할 수 있습니다.

다만 개발팀에 따르면 정답 코드에 완벽히 도달하기까지 GPT-4보다 몇 번의 추가 대화가 더 필요할 수 있으며, 관련 추론 역량은 지속적으로 개선 중입니다.

5배 빠른 속도의 비결과 사양

이 같은 빠른 속도는 엔비디아 하드웨어와 전용 가속 라이브러리의 최적화 덕분입니다.

엔비디아 H100 인프라에서 구동되며, 엔비디아의 TensorRT-LLM 추론 라이브러리를 적용했습니다. 이를 통해 단일 스트림 기준 초당 최대 100토큰의 처리량을 달성했습니다. 당시 GPT-4가 초당 약 20토큰 수준이었던 점을 감안하면 약 5배 빠른 수치입니다.

여기에 16k 컨텍스트 창을 지원하므로 긴 코드 파일이나 터미널 오류 로그를 통째로 프롬프트에 넣을 수 있습니다.

모델 가중치는 허깅페이스에 오픈소스로 완전히 공개되어 누구나 내려받아 자체 인프라에 배포할 수 있습니다.

어디서 써볼 수 있나

자체 GPU 환경을 갖춘 개발자라면 허깅페이스에서 핀드 모델 가중치를 내려받아 직접 호스팅할 수 있습니다.

별도 세팅 없이 쓰고 싶다면 핀드 공식 웹사이트를 이용하면 됩니다. 하루 10회까지 무료 쿼리를 제공해 매월 20달러인 챗GPT 유료 구독 없이도 체험 가능합니다. 더 많은 사용량이 필요하다면 월 15달러 또는 30달러 요금제를 선택할 수 있습니다.

아울러 공식 VS Code 확장 프로그램도 무료로 제공됩니다. 단축키를 이용해 선택한 코드 검색, 코드 재작성, 터미널 오류 분석 등의 기능을 편집기 내에서 바로 실행할 수 있습니다.

왜 중요한가

코딩 작업에서 긴 응답 지연 시간은 개발자의 집중력을 쉽게 흐트러뜨립니다. GPT-4 수준의 품질을 갖춘 코드가 10초 만에 출력된다는 점은 작업 리듬을 유지하는 데 큰 이점입니다.

우리는 34B 규모의 오픈소스 모델이 TensorRT-LLM과 같은 최적화 엔진과 결합했을 때 특정 도메인에서 상용 폐쇄형 거대 모델을 충분히 압도할 수 있음을 입증했다고 봅니다. 일상적인 디버깅이나 코드 리팩터링 도구가 필요한 개발자라면 지금 바로 설치해 사용해볼 가치가 큽니다.