OpenAI 차세대 모델 '오리온' 성능 개선 둔화…합성 데이터로 전략 선회

OpenAI의 차세대 거대 모델이 다시 한번 세상을 놀라게 할 것이라 기대했다면, 눈높이를 조금 낮춰야 할지도 모릅니다.

디 인포메이션 보도에 따르면, 오리온이라는 코드명으로 개발 중인 OpenAI의 차기 플래그십 모델은 기존 모델보다 성능이 개선되기는 했으나 그 폭이 과거 GPT-3에서 GPT-4로 넘어갈 때 보여준 비약적인 도약에는 미치지 못하는 것으로 전해졌습니다. 사전 테스트에 참여한 직원들은 코딩 등 일부 핵심 영역에서 오리온이 기존 모델들을 뚜렷하게 압도하지 못할 수도 있다고 귀띔했습니다.

스케일링의 한계와 합성 데이터 전략

성능 개선 속도가 무뎌지는 현상은 OpenAI만의 문제가 아니라 대규모 언어 모델 생태계 전반이 마주한 현실입니다.

웹상의 양질의 공개 데이터가 고갈되어 가면서, OpenAI는 모델 개선 방식을 원점에서 연구하는 전담 팀을 꾸렸습니다. 이들이 찾은 새 전략은 다른 AI 모델이 생성한 합성 데이터를 오리온 학습에 투입하고, 이전 세대 모델에서 상대적으로 덜 집중했던 사후 훈련 단계에 공을 들이는 것입니다.

진척이 예상보다 더디면서 공개 일정도 미뤄지는 모양새입니다. 당초 12월 출시설이 돌았으나, OpenAI는 테크크런치 측에 올해 오리온이라는 코드명의 모델을 출시할 계획이 없다고 밝혔습니다. 여기에 11월 8일 대규모 접속 장애를 겪은 데다 ChatGPT 사용자 수가 완만하게 줄어들고 있다는 정황까지 겹치며 전략 재검토가 불가피해졌습니다.

왜 중요한가

우리는 오리온의 정체 현상이 무작정 컴퓨팅 자원과 원시 데이터를 쏟아붓던 무차별적 확장 방식의 한계를 명확히 드러낸 신호라고 봅니다.

일반 사용자와 개발자 입장에서는 판도를 통째로 뒤흔들 마법 같은 모델을 마냥 기다릴 필요가 없어졌습니다. 단기적으로는 지금 나와 있는 모델들을 활용해 실제 비즈니스 로직과 서비스 완성도를 높이는 작업에 집중하는 것이 훨씬 합리적인 선택입니다.

산업 전반으로 보면 선두 주자의 속도 조절은 후발 주자들에게 격차를 좁힐 절호의 기회로 작용합니다. 모델의 원천 성능 격차가 줄어들면, 승부는 사후 훈련의 정교함과 실무 환경에 최적화하는 역량에서 갈릴 수밖에 없습니다.

다만 AI가 만든 합성 데이터로 차세대 AI를 가르치는 방식은 영리한 우회로처럼 보이지만 품질 저하 등의 잠재적 위험을 안고 있습니다. 사후 훈련만으로 기반 모델의 성장 한계를 얼마나 메울 수 있을지는 여전히 지켜봐야 할 대목입니다.