lmarena.ai, 라마 4 대결 데이터 전격 공개…메타의 불투명성 지적

AI 모델 블라인드 평가 플랫폼인 lmarena.ai(구 LMSYS)가 메타의 'Llama-4' 배틀 데이터 2,000건 이상을 공개하며 메타의 투명성 부족을 공개적으로 비판했습니다.

인간 선호도에 맞춰 '특화 튜닝'된 모델

논란의 중심에 선 모델은 'Llama-4-Maverick-03-26-Experimental'입니다. lmarena.ai의 초기 분석 결과, 답변의 문체와 어조, 심지어 이모지 사용 여부와 같은 요소가 사용자 투표 승률에 상당한 영향을 미친 것으로 나타났습니다.

플랫폼 측은 메타의 정책 해석이 기대치에 미치지 못했다고 지적했습니다. 해당 모델이 인간 선호도 최적화를 위해 특별히 커스텀된 버전이라는 점을 메타가 사전에 명확히 알렸어야 했다는 설명입니다.

lmarena.ai는 투명성을 확보하기 위해 사용자 프롬프트와 모델 답변, 투표 결과가 포함된 2,000건 이상의 대결 원본 데이터를 전면 공개했습니다. 아울러 허깅페이스에 공개된 일반 Llama-4-Maverick 버전을 평가에 추가해 곧 결과를 발표하고, 향후 혼선을 막기 위해 리더보드 정책을 전면 개정하기로 했습니다.

왜 중요한가

리더보드 순위가 대형 모델의 마케팅 수단이 되면서, 점수를 따기 위한 '맞춤형 편법'이 수면 위로 드러난 셈입니다. 저희는 상냥한 말투나 이모지 등으로 투표자의 환심을 사는 행위가 모델 본연의 추론 능력 향상과는 아무런 관련이 없다고 봅니다.

lmarena.ai가 로우 데이터를 공개하고 실제 배포용 모델로 재검증에 나선 조치는 벤치마크 어뷰징에 대한 강력한 경고로 읽힙니다. 개발자들 역시 화려한 리더보드 숫자에만 휘둘리지 말고, 실제로 공개된 가중치 모델이 동일한 성능을 내는지 꼼꼼하게 따져볼 필요가 있습니다.