AI 벤치마크 기관 에포크 AI, 오픈AI 후원 늑장 공개로 비판

어려운 시험을 앞두고 특정 학생이 출제 기관에 몰래 돈을 대고 시험 문제와 정답까지 미리 들여다봤다면, 그 성적을 신뢰할 사람은 없을 것입니다. 최근 AI 업계의 핵심 벤치마크를 둘러싸고 이와 비슷한 신뢰성 논란이 터졌습니다.

외신에 따르면, 비영리 연구 단체 에포크 AI(Epoch AI)가 수학 벤치마크 '프론티어매스(FrontierMath)' 개발 과정에서 오픈AI로부터 자금을 지원받은 사실을 오랫동안 숨겨왔다는 비판을 받고 있습니다. 프론티어매스는 오픈AI가 차세대 플래그십 모델 o3를 공개하며 뛰어난 추론 성능을 과시하기 위해 내세운 핵심 테스트였습니다.

그러나 에포크 AI는 o3가 발표된 12월 20일에야 오픈AI의 후원 사실을 밝혔습니다. 게다가 오픈AI가 사전에 문제와 해답을 상당 부분 열람할 수 있는 특권을 누렸다는 점까지 뒤늦게 드러났습니다.

출제진도 몰랐던 오픈AI의 사전 열람 특권

뒤늦은 고백은 문제 출제에 기여한 학계의 거센 반발을 샀습니다. 포럼 레스롱(LessWrong)에서 계약직 참여자는 소통이 전혀 투명하지 않았다며, 작업물이 특정 기업의 역량 평가에 쓰인다는 사실을 사전에 알 권리가 있었다고 지적했습니다.

스탠퍼드대 수학과 박사과정생 카리나 홍(Carina Hong) 역시 X를 통해 문제를 제기했습니다. 문제 출제에 크게 기여한 수학자 6명에게 확인한 결과, 이들 모두 오픈AI가 벤치마크 독점 열람 권한을 가졌다는 사실을 전혀 몰랐으며, 이를 알았다면 참여하지 않았을 것이라고 답했다는 것입니다.

논란이 커지자 에포크 AI의 공동 창립자 타메이 베시로글루(Tamay Besiroglu)는 실수를 인정했습니다. 계약상 o3 출시 시점까지 협업을 공개할 수 없었지만, 출제자들을 위한 투명성을 협상 과정에서 양보하지 말았어야 했다고 털어놨습니다.

'구두 합의'와 아직 검증 안 된 공식 성적

공정성 훼손 논란에 대해 베시로글루는 오픈AI가 프론티어매스 문제를 AI 훈련에 쓰지 않기로 '구두 합의'를 맺었으며, 독립 검증을 위한 별도의 미공개 테스트셋도 마련해 두었다고 해명했습니다.

하지만 내부에서 또 다른 불협화음이 나왔습니다. 에포크 AI의 수석 수학자 엘리엇 글레이저(Elliot Glazer)는 레딧을 통해 기관 차원에서 오픈AI의 o3 프론티어매스 점수를 아직 독립적으로 검증하지 못했다고 밝혔습니다.

글레이저는 개인적으로 오픈AI가 데이터를 오염시키지 않았을 것으로 믿지만, 독립적인 평가 절차가 끝나기 전까지는 점수를 공식 보증할 수 없다고 선을 그었습니다.

왜 중요한가

우리는 이번 사태가 고난도 AI 벤치마크 개발이 직면한 자금난과 독립성의 딜레마를 적나라하게 보여준다고 봅니다.

최신 모델을 시험할 박사급 문제를 만들려면 막대한 자금과 최고급 인력이 필요합니다. 비영리 단체가 빅테크의 후원을 받는 것 자체는 불가피할 수 있으나, 그 대가로 사전 열람권과 비밀 유지 조항을 내준 순간 공정한 심판으로서의 권위는 흔들립니다.

수십억 달러의 사업적 가치가 걸린 경쟁에서 데이터 오염 방지 대책이 고작 '구두 합의'에 불과했다는 점도 납득하기 어렵습니다. 외부 감사나 강제성 없는 신사협정은 학술적·산업적 신뢰를 담보하지 못합니다.

신뢰할 수 있는 벤치마크가 무너지면 모델 성능 경쟁은 거대 기업들의 홍보전으로 전락합니다. 독립 평가 기관이 대형 연구소의 자금을 유치하더라도, 출제자 권리와 절차적 투명성을 타협해서는 안 된다는 뼈아픈 선례를 남겼습니다.