바이트댄스, 오픈AI 기술 무단 활용해 자체 LLM 개발…계정 정지 조치

생성형 AI 시장에서 일부 스타트업이 OpenAI 모델의 답변을 가져다 자사 모델을 학습시키는 일은 공공연한 비밀이었습니다. 하지만 이를 주도한 기업이 틱톡의 모회사 바이트댄스라면 이야기가 완전히 달라집니다.

IT 전문 매체 더버지는 바이트댄스가 자체 경쟁 거대언어모델을 개발하고 평가하는 과정에서 OpenAI 기술을 몰래 사용해 왔다고 보도했습니다. 이는 자사 모델 출력을 이용해 경쟁 제품을 개발하지 못하도록 규정한 OpenAI와 마이크로소프트의 서비스 약관을 정면으로 위반한 행위입니다.

보도가 나간 직후 OpenAI 측은 바이트댄스의 API 계정을 정지하고 추가 조사에 착수했다고 밝혔습니다.

API 한도 초과와 흔적 지우기

유출된 사내 문서에 따르면, 바이트댄스의 기초 모델 개발 프로젝트인 시드는 모델 훈련부터 성능 평가까지 거의 모든 단계에서 OpenAI의 API에 의존했습니다. 사용량이 워낙 방대해 허용된 API 호출 한도를 정기적으로 초과할 정도였습니다.

사내 협업 툴인 라크 대화록에는 직원들이 규정 위반 발각을 피하기 위해 데이터 비식별화 처리를 통해 흔적을 세탁하는 방법을 논의한 내용까지 고스란히 남아 있었습니다. 내부 사정을 잘 아는 관계자는 겉으로는 합법성을 챙기겠다고 하지만 실제로는 걸리지 않기만을 바란 것이라고 꼬집었습니다.

몇 달 전 중국 당국으로부터 챗봇 두바오의 출시 승인을 받을 무렵 모델 개발 전 과정에서 GPT 텍스트 사용을 중단하라는 지침이 내려지긴 했습니다. 하지만 내부 관계자들은 그 이후에도 두바오의 기반 모델 성능을 평가하는 데 여전히 API가 쓰였다고 전했습니다.

바이트댄스 대변인은 프로젝트 초기 데이터 라벨링에 GPT 데이터를 일부 활용했을 뿐이며, 올해 중순에 이미 훈련 데이터에서 완전히 제거했다고 해명했습니다. 마이크로소프트를 통해 적법하게 API 라이선스를 구매해 해외용 제품에만 적용하고 있다는 입장입니다.

왜 중요한가

자본이 부족한 스타트업이 법적 회색지대를 감수하며 증류 방식을 쓰는 경우는 종종 있지만, 바이트댄스 규모의 빅테크가 이런 편법을 썼다는 점은 업계에 적잖은 충격을 주고 있습니다. 데이터브릭스를 비롯한 업계 전문가들은 바이트댄스가 올해 말까지 GPT-3.5를 잡고 내년 중순까지 GPT-4를 따라잡겠다는 무리한 목표를 세우면서 극심한 납기 압박을 겪었음을 보여준다고 분석합니다.

우리는 이번 사건이 대형 기술 기업들조차 바닥부터 최첨단 파운데이션 모델을 구축하는 데 얼마나 큰 기술적 한계와 불안감을 느끼고 있는지 드러냈다고 봅니다. 단기 성과를 위해 약관을 어기고 지름길을 택한 대가는 혹독합니다. 바이트댄스는 글로벌 기술 신뢰도에 치명적인 타격을 입었으며, 해외 인재 영입에도 상당한 차질이 빚어질 것으로 보입니다.

더 큰 문제는 데이터의 질입니다. 모델이 다른 모델의 출력을 반복해서 학습하는 근친교배가 계속되면 AI의 환각 현상이 걷잡을 수 없이 증폭될 수밖에 없습니다. OpenAI가 즉각 계정을 차단하며 칼을 빼든 것은, 자사 지능을 베껴 경쟁 제품을 만드는 행위를 절대 좌시하지 않겠다는 강력한 경고로 해석할 수 있습니다.