텐센트, 770B 규모 오픈소스 모델 'Hy4 preview' 공개: 실무 특화 및 자기 개선 적용

Hy4 preview는 텐센트 훈위안이 오픈소스로 공개한 대규모 MoE 모델로, 총 770B 파라미터 중 추론 시 49B만 활성화하며 1M 컨텍스트 길이를 지원합니다. 단순 벤치마크 점수 경쟁 대신 코딩, 금융 분석, 과학 연산 등 실제 업무 환경에 철저히 맞춰 개발되었습니다.

복잡한 웹 개발, 장문의 코드 디버깅, 다중 파일 데이터 분석 작업을 로컬 환경에서 직접 처리하고자 할 때 적합합니다.

무엇을 할 수 있나

소프트웨어 엔지니어링 영역에서 Hy4 preview는 긴 호흡의 개발 프로세스 이해와 검증 능력을 높였습니다. Arena의 Web Dev 리더보드에서는 GLM 5.3 Flash와 동률을 기록했으며, Qwen 3.8 Max 및 DeepSeek V4 Pro를 앞섰습니다.

사무 및 금융 분석 환경에서는 복잡한 문서와 표를 분석해 최종 보고서 형태로 정리할 수 있으며, 게임 엔진과 연동해 간단한 요구사항만으로 실행 가능한 프로토타입을 만들어냅니다. 텐센트 내부 전문가 163명이 203개 엔지니어링 과제를 블라인드 테스트한 결과에서도 4점 만점에 2.99점을 얻어 GLM 5.3(2.92점)과 Kimi K3(2.94점)를 소폭 웃돌았습니다.

동작 방식과 사양

구조적으로는 DeepSeek 및 GLM의 설계를 참고해 스파스 어텐션과 인덱스 캐시, 레이어 간 정보 흐름을 돕는 아이덴티티 하이퍼커넥션을 적용했습니다.

가장 눈에 띄는 기술적 특징은 재귀적 자기 개선 루프입니다. 모델이 훈련 방법, 데이터 전략, 하위 커널 최적화 실험에 직접 참여하고 그 로그 피드백을 통해 다시 튜닝을 이어갔습니다. 추론 시스템 병목을 스스로 분석해 커널 퓨전 등을 진행한 결과 엔드투엔드 처리량이 기존 대비 31.8% 향상되었습니다.

로컬 구동 요구 사양은 매우 높습니다. 원본 가중치 용량이 약 1.56TB에 달합니다. 다만 오픈소스 커뮤니티를 통해 GGUF 버전이 공유되고 있으며, 1-bit 양자화 버전의 경우 약 229GB 수준까지 줄어듭니다. 라이선스는 제약이 적은 Apache 2가 적용되었습니다.

로컬 구축 없이 써보려면 텐센트 위안바오, ima를 비롯해 WorkBuddy와 CodeBuddy에서 바로 이용할 수 있으며, 후자 두 플랫폼에서는 2주간 무료 체험이 제공됩니다. API는 텐센트 클라우드 Tokenhub 및 OpenRouter를 통해 연동 가능합니다.

왜 중요한가

대규모 연산 장비를 갖춘 기업이나 연구팀 입장에서는 민감한 소스코드나 재무 데이터를 외부에 유출하지 않고도 상용 폐쇄형 모델에 근접한 성능을 온프레미스로 확보할 수 있는 선택지가 생겼습니다.

또한 경량화 모델에 집중되던 오픈소스 흐름 속에서 770B급 플래그십 MoE가 Apache 2로 풀렸다는 점, 그리고 모델이 스스로 연산 커널을 깎고 훈련 전략을 다듬는 자율 개선 루프를 실제로 보여주었다는 점에서 의미가 큽니다.