Kimi K3의 앤트로픽 모델 증류 의혹에 전문가들 "물리적으로 불가능"

마이클 크라치오스(Michael Kratsios) 미 백악관 과학 고문은 중국의 문샷(Moonshot)이 오픈웨이트 모델 Kimi K3를 개발하면서 앤트로픽(Anthropic)의 Fable을 무단 복제·증류했다고 공개 비판했습니다.

그는 문샷이 대중 수출이 금지된 엔비디아 그레이스 블랙웰 300(GB300) 칩과 태국 소재 서버를 불법 전용했다고도 주장했습니다. 스콧 베센트(Scott Bessent) 재무장관까지 나서 "중국 모델들에서 미국 대형 언어 모델의 워터마크가 발견되고 있다"고 거들며 중국산 오픈 모델 전면 금지 논의에 불을 지폈습니다.

하지만 AI 전문 연구자들은 백악관의 주장이 기술적 현실과 전혀 맞지 않는다며 고개를 젓고 있습니다.

2주 만에 프론티어 모델 증류는 "물리적으로 불가능"

스노클 AI(Snorkel AI) 공동 창업자이자 라우드 연구소(Laude Institute)의 브래든 핸콕(Braden Hancock) 연구원은 명백한 타임라인의 모순을 지적했습니다. 앤트로픽이 Fable을 대중에 공개한 시점은 7월 1일이었습니다. 방대한 데이터를 질의해 증류하고, 새 모델을 학습시켜 출시하기까지 2주라는 시간은 물리적으로 턱없이 부족합니다.

앨런 인공지능 연구소(AI2)의 네이선 램버트(Nathan Lambert) 연구원 역시 팟캐스트를 통해, 프론티어에 근접할수록 단순 증류(SFT)의 효용은 급격히 떨어진다고 분석했습니다. 지도 미세조정(SFT)은 모델의 '말투와 태도'를 다듬는 수준에 그치며, 종종 모델이 엉뚱하게 "저는 클로드입니다"라고 실토하게 만들 수는 있어도 본질적인 추론 능력까지 복제하지는 못합니다.

Fable 수준의 성능을 구현하려면 고도의 강화학습(RL)이 필수적이며, 교사 모델이 수천만 개의 에이전트 응답을 직접 채점해야 합니다.

이를 타사 API로 수행하는 것은 천문학적인 비용이 들 뿐 아니라, API 응답 지연으로 인해 학습 병목이 발생해 성능 향상을 전혀 얻지 못할 수도 있습니다. 비록 올해 초 앤트로픽이 문샷, 딥시크, 미니맥스를 조직적 증류 혐의로 지목한 바 있지만, 증류 자체는 업계 전반의 관행입니다. 일론 머스크 역시 스페이스XAI가 그록(Grok)을 만들 때 오픈AI 모델을 증류했다고 밝힌 바 있습니다.

2.8조 파라미터 자체 아키텍처와 반도체 논란

Kimi K3를 단순한 모방작으로 치부하기 어려운 또 다른 이유는 모델 자체의 거대한 체급과 독자 아키텍처입니다.

허깅페이스(Hugging Face)에 공개된 가중치 정보에 따르면, Kimi K3는 총 파라미터 2.8조 개, 활성 파라미터 1,040억 개에 달하는 초대형 MoE(혼합 전문가) 모델입니다. 문샷이 자체 개발한 Kimiko 델타 어텐션과 어텐션 잔차 기술을 탑재했고, 네이티브 Moon VIC 비전 인코더까지 내장했습니다.

가중치 파일 크기만 1.56TB에 달해 일반 하드웨어로는 구동조차 불가능합니다. 오픈소스 커뮤니티인 언슬로스(Unsloth)가 1비트 GGUF 양자화 버전을 빠르게 내놓으며 용량을 594GB로 줄였지만, 여전히 기업용 GPU 클러스터가 필요합니다.

핸콕 연구원은 문샷 창업자가 카네기멜런대(CMU) 박사 출신이라는 점을 짚으며, 미국 내 여론이 중국 연구진의 실력을 지나치게 과소평가하고 있다고 꼬집었습니다.

하드웨어 밀반입 의혹과 관련해 조지타운대 CSET의 샘 브레스닉(Sam Bresnick) 연구원은 칩 암시장이 실재하며, 지난 5월 슈퍼마이크로(Supermicro) 창업자가 칩 밀수 혐의로 기소된 바 있다고 설명했습니다. 그는 전 세계 데이터센터에 대한 고객알기제도(KYC) 도입을 촉구했으나, 바이든 정부 시절인 2024년 제안된 규정은 트럼프 행정부 들어 실질적인 진전이 없는 상태입니다.

왜 중요한가

저희가 보기에 이번 백악관의 지적은 오픈웨이트 진영의 눈부신 추격에 대한 기술적 불안감이 투영된 결과입니다.

Kimi K3는 1.56TB라는 거대한 덩치 탓에 일반 개발자가 PC에서 가볍게 돌릴 수 있는 도구는 아닙니다. 하지만 허깅페이스에 풀린 원본 가중치와 양자화 버전은 최상위 폐쇄형 모델에 필적하는 강력한 연구 기반을 글로벌 커뮤니티에 통째로 제공합니다.

독자적인 2.8조 파라미터 MoE 아키텍처와 시각 기능을 갖춘 모델을 단 2주 만에 '베껴 만든 복제품'으로 깎아내리는 것은 현대 LLM 엔지니어링에 대한 무지에서 비롯된 주장입니다. 표면적인 말투 모방과 강화학습을 통한 코어 지능 구축은 완전히 다른 영역입니다.

정치적 규제나 금지 조치로는 이미 확산되기 시작한 오픈소스의 흐름을 막기 어렵습니다. 하드웨어 통제나 증류 프레임 씌우기보다, 결국 실제 아키텍처 혁신과 시스템 엔지니어링 실력으로 격차를 증명해야 할 시점입니다.