메타, Llama 4 벤치마크 점수 조작설 전면 부인

메타의 최신 오픈소스 AI 모델인 Llama 4가 벤치마크 점수를 조작했다는 의혹에 휩싸였습니다.

지난 주말 소셜미디어 X와 레딧을 중심으로 소문이 확산되자, 메타의 생성형 AI 부문 부사장인 아마드 알달레(Ahmad Al-Dahle)가 직접 진화에 나섰습니다.

퇴사자 폭로부터 LM Arena 점수 논란까지

이번 논란은 중국 소셜미디어에 올라온 한 게시물에서 시작된 것으로 알려졌습니다. 작성자는 메타의 벤치마크 관행에 항의해 회사를 그만둔 퇴사자라고 주장하며, 메타가 Llama 4 Maverick과 Scout 모델을 훈련할 때 평가용 '테스트 세트'를 포함시켰다고 폭로했습니다.

AI 분야에서 테스트 세트를 학습에 넣는 것은 시험 문제를 미리 보고 시험을 치르는 것과 같습니다. 점수는 비정상적으로 높게 나오지만 실제 환경에서는 성능이 급격히 떨어지게 됩니다.

이 주장이 빠르게 퍼진 이유는 실제로 Maverick과 Scout이 특정 작업에서 기대 이하의 성능을 보인다는 보고가 이어졌기 때문입니다. 게다가 연구자들은 메타가 LM Arena 순위를 끌어올리기 위해 일반에 공개하지 않은 실험용 Maverick 버전을 제출했다는 점을 짚어냈습니다. 직접 내려받아 쓰는 모델과 LM Arena에 올라간 모델의 성능 차이가 뚜렷했던 것입니다.

알달레 부사장은 X를 통해 테스트 세트를 학습시켰다는 주장은 "전혀 사실이 아니다"라고 전면 부인했습니다.

다만 그는 여러 클라우드 제공업체에서 호스팅 중인 모델들의 품질이 들쭉날쭉하다는 점은 인정했습니다. 모델이 완성되자마자 즉시 공개했기 때문에, 파트너사들이 최적화 작업을 끝내고 안정화되기까지 며칠 더 걸릴 것이라며 버그 수정 작업을 진행 중이라고 덧붙였습니다.

왜 중요한가

Llama 4 도입을 검토 중인 개발자와 기업이라면 벤치마크 순위만 믿고 즉시 프로덕션에 적용하기보다 며칠 기다려야 합니다. 클라우드 인프라별로 성능 편차가 크고 메타 스스로도 버그를 잡는 중이라고 인정한 만큼, 각자의 자체 데이터로 직접 검증한 뒤 도입 여부를 결정하는 것이 안전합니다.

업계 관점에서는 공개 리더보드의 신뢰성에 다시 한번 금이 갔습니다. 메타 같은 거대 테크 기업조차 순위를 위해 일반 배포용과 다른 미공개 특화 모델을 벤치마크에 올렸다는 사실은 오픈 모델 생태계에 적잖은 실망을 안겼습니다.

메타의 이번 대처는 지나치게 성급해 보입니다. 경쟁 압박에 쫓겨 완성도가 떨어지는 상태로 모델을 서둘러 공개하고 순위 방어에 급급하다 보니, 오픈소스 진영의 신뢰를 갉아먹는 악수를 뒀다는 평가를 피하기 어렵습니다.