GPT-4, 데이터 라벨링서 숙련 인력 제쳐: 50만 달러와 2만 시간 절감

지난 1년 동안 생성형 AI 업계에서 가장 돈이 많이 드는 분야 중 하나는 인간 라벨러에게 비용을 지불하고 데이터를 검수하고 채점하게 하는 작업이었습니다.

하지만 이 기본 공식이 인공지능 자체에 의해 흔들리고 있습니다.

카네기멜론 대학교, 예일 대학교, UC 버클리 연구진은 챗봇의 마키아벨리적 성향을 조사하던 중 놀라운 사실을 발견했습니다. 오픈AI의 GPT-4가 데이터셋 라벨링 작업에서 숙련된 인간 크라우드워커를 능가하는 성과를 낸 것입니다.

50만 달러에 달하던 인건비가 5천 달러로 압축

연구진은 572,322개의 텍스트 시나리오를 분류해야 하는 막대한 과제에 직면해 있었습니다.

서지 AI(Surge AI)의 상위권 인간 라벨러를 시간당 25달러에 고용할 경우, 총 20,000시간이 걸려 50만 달러 이상의 비용이 발생하는 상황이었습니다.

연구 예산으로는 감당하기 어려운 규모였습니다. 이에 연구팀은 커스텀 프롬프트와 앙상블 모델 방식을 결합해 GPT-4로 라벨링 작업을 자동화했습니다.

그 결과, 연구진은 57만 건이 넘는 시나리오를 처리하는 데 5,000달러 미만의 비용만 지출한 것으로 나타났습니다.

정확도 역시 예상을 뛰어넘었습니다. 전문가 3명과 크라우드워커 3명이 라벨링한 2,000개 데이터를 GPT-4와 비교했을 때, 모델이 생성한 라벨이 일반 작업자보다 전문가의 판단과 훨씬 강한 상관관계를 보였습니다.

GPT-4는 단 두 개 항목을 제외한 모든 라벨링 범주에서 인간 작업자를 앞섰으며, 일부 영역에서는 두 배에 달하는 성능 차이를 기록했습니다.

미묘한 감정적 괴롭힘과 배신까지 감지

GPT-4가 특히 뛰어난 성능을 보인 부분은 인간 사회의 미묘한 뉘앙스를 포착해야 하는 영역이었습니다.

정서적 위협이나 따돌림 같은 비신체적 가해, 도청 및 감시 행위, 약속이나 계약을 위반하는 배신 행위 등을 식별하는 작업에서 모델은 인간보다 훨씬 안정적인 판별력을 보여주었습니다.

이미 2주 전 GPT-3.5가 메커니컬 터크의 상위 작업자를 앞섰다는 연구가 나온 데 이어, GPT-4는 그 격차를 더 벌렸습니다.

오픈AI, 메타, 앤트로픽 등을 고객사로 두고 40개 이상 언어의 엘리트 인력을 내세우던 데이터 라벨링 업계는 직접적인 위협에 직면했습니다.

크라우드워커 권익 단체 터콥티콘(Turkopticon)의 크리스털 코프먼 대표는 바이스와의 인터뷰에서 글을 다루는 일은 단순 단어 생성이 아닌 판단의 영역이라며, 현재 시점에서 챗GPT의 능력을 맹신하기에는 해결되지 않은 의문이 너무 많다고 지적했습니다.

왜 중요한가

우리는 이번 연구 결과가 AI 모델 개발의 경제성을 근본적으로 뒤흔드는 계기가 될 것으로 봅니다.

연구자와 스타트업 입장에서는 진입 장벽이 획기적으로 낮아졌습니다. 과거 50만 달러의 거대 자본이 필요했던 데이터 구축 작업을 단돈 수천 달러의 API 비용으로 해결할 수 있게 되면서 고품질 데이터셋 확보의 민주화가 열렸기 때문입니다.

반면 휴먼 피드백(RLHF)을 기반으로 성장해 온 데이터 라벨링 외주 시장은 존립 기반을 재정의해야 하는 처지에 놓였습니다. 최상위 모델이 숙련 노동자보다 정확하고 저렴하다면, 기업들이 인간 작업자를 고집할 이유가 줄어들기 때문입니다.

다만 우리는 이 방식에 잠재적 위험도 존재한다고 봅니다. AI가 만든 데이터로 차세대 AI를 학습시키는 구조는 모델 고유의 편향이나 맹점을 계속해서 증폭시키는 순환 오류를 낳을 수 있습니다. 비용 절감에는 매우 영리한 접근이지만, 극단적인 예외 상황을 걸러내기 위한 인간의 개입을 완전히 배제하기는 어려울 것으로 보입니다.