OpenAI 데이터 파트너십 발표: 기관 협력으로 AI 학습용 데이터 확보

인터넷에 공개된 고품질 웹 문서는 이제 거의 바닥을 드러내고 있습니다. 학습 데이터 고갈 문제에 직면한 OpenAI가 해결책으로 꺼내든 카드는 직접 발로 뛰며 오프라인 데이터를 모으는 방식입니다.

OpenAI는 외부 기관, 기업, 정부와 협력해 차세대 AI 학습용 데이터셋을 구축하는 파트너십 프로그램인 데이터 파트너십을 공식 발표했습니다.

원하는 데이터와 제공하는 기술 지원

OpenAI가 찾고 있는 것은 웹상의 파편화된 단편 글이 아니라, 장문의 글이나 깊이 있는 대화처럼 인간의 의도가 온전히 담긴 대규모 데이터입니다. 언어나 주제, 포맷에 구애받지 않으며 텍스트, 이미지, 음성, 영상 등 모든 형태를 포함합니다.

디지털화되지 않은 방대한 아카이브를 보유한 기관을 위해 기술 지원도 약속했습니다. 자체 보유한 광학 문자 인식 기술로 문서나 PDF를 디지털 파일로 바꾸고, 음성 인식 기술로 녹음 데이터를 텍스트로 풀어냅니다. 민감한 개인정보나 제3자 권리가 포함된 정보는 걸러내는 정제 작업도 함께 진행합니다.

이러한 협력 모델은 이번이 처음은 아닙니다. OpenAI는 이미 아이슬란드 정부 및 현지 기업과 협력해 GPT-4의 아이슬란드어 구사 능력을 끌어올렸고, 비영리 단체인 프리 로 프로젝트와 손잡고 방대한 법률 문서를 모델에 학습시킨 바 있습니다.

공개 아카이브와 비공개 맞춤형의 두 가지 길

파트너십은 크게 두 가지 형태로 나뉩니다.

첫 번째는 오픈소스 아카이브입니다. 누구나 AI 모델 학습에 자유롭게 활용할 수 있도록 데이터를 일반에 공개하며, OpenAI 역시 이를 활용해 오픈소스 모델을 연구하고 개발할 계획입니다.

두 번째는 비공개 데이터셋입니다. 고유한 산업 데이터를 외부에 노출하지 않으면서도 자사 분야를 잘 이해하는 전용 AI 모델을 원하는 기업을 위한 경로입니다. 파트너가 원하는 보안 등급과 접근 제어를 철저히 유지하며 파운데이션 모델 및 파인튜닝 모델 학습에만 사용됩니다.

왜 중요한가

우리는 이번 발표가 대형 언어 모델의 데이터 수집 방식이 질적 전환점에 도달했음을 보여준다고 봅니다. 단순히 웹을 긁어모으는 크롤링 방식으로는 모델의 성능을 더 끌어올리기 어려운 한계에 부딪혔기 때문입니다.

전문 데이터나 희귀 언어 자료를 가진 기관 입장에서는 꽤 매력적인 기회입니다. 천문학적인 비용이 드는 자체 AI 개발 없이도 OpenAI의 기술 지원을 받아 오랜 아카이브를 디지털화하고, 해당 분야에 특화된 모델의 혜택을 누릴 수 있습니다.

다만 고유한 데이터 자산을 외부 빅테크 기업의 모델에 넘겨주는 구조인 만큼, 데이터 주권과 보안에 대한 불안감은 남을 수밖에 없습니다. 비공개 계약이라 하더라도 모델 가중치에 녹아든 지식을 완벽히 통제할 수 있는지에 대한 고민은 여전히 필요합니다.

결국 앞으로의 AI 경쟁은 컴퓨팅 자원 확보를 넘어, 오프라인과 비공개 영역에 잠들어 있는 인류의 전문 지식을 누가 더 빠르게 독점하느냐의 싸움으로 번지고 있습니다.