메타 내부 폭로: Llama 4 성능 미달 및 벤치마크 조작 의혹에 부사장 등 사임설

벤치마크 점수는 점점 올라가지만, 실제 체감 성능은 기대에 미치지 못하는 배경에 내부 사정이 있었을 가능성이 제기되었습니다.

벤치마크 유출 의혹 속 Llama 4 연구원 사임

IT 블로거 토니 펭(Tony Peng)이 전한 소식에 따르면, 메타 AI 팀 소속의 한 중국계 엔지니어가 사직서를 제출하고 Llama 4 기술 보고서에서 본인의 이름을 제외해 줄 것을 공식 요청했습니다.

해당 내부 고발자는 반복된 학습에도 불구하고 내부 모델의 성능이 오픈소스 최고 수준에 한참 못 미쳤다고 밝혔습니다. 이어 4월 말로 설정된 기한을 맞춰 추가 투자를 유지하기 위해, 경영진이 포스트 트레이닝 과정에 각종 벤치마크 테스트셋을 섞어 지표를 맞추는 방안을 제안했다고 주장했습니다.

어제 Llama 4가 공개된 이후 X와 레딧 등에서는 실제 성능이 떨어진다는 불만이 잇따랐습니다. 학계 연구를 병행 중인 이 엔지니어는 이러한 조작 관행을 용납할 수 없었다고 덧붙였으며, 메타의 AI 부사장 역시 같은 이유로 사임했다는 풍문을 전했습니다.

왜 중요한가

이번 내부 고발이 사실이라면, 빅테크 기업 간의 오픈소스 경쟁 압박이 모델 개발 과정에서 심각한 왜곡을 낳고 있음을 보여줍니다.

사후 학습에 평가 데이터를 섞는 것은 본질적으로 시험지를 미리 보고 치르는 것과 같아, 숫자는 그럴듯하게 나와도 실제 사용자 환경에서는 금방 한계가 드러날 수밖에 없습니다. 따라서 현시점에서 개발자나 기업이 수치만 믿고 Llama 4를 섣불리 도입하는 것은 위험하다고 판단됩니다.

동시에 기존 AI 벤치마크의 신뢰성 위기를 다시 한번 입증한 사례로, 앞으로는 외부 커뮤니티의 실전 블라인드 테스트 결과에 더 주목해야 할 것으로 보입니다.