Ilya Sutskever의 경고: 인터넷 데이터 정점 도달, 사전 학습 시대 끝난다

OpenAI를 떠나 Safe Superintelligence를 설립한 일리야 수츠케버가 밴쿠버에서 열린 NeurIPS 무대에 깜짝 등장했습니다. 퇴사 이후 공식 석상을 피해왔던 그가 인공지능 업계를 향해 던진 메시지는 단호했습니다.

핵심은 간단합니다. 우리가 사용할 수 있는 데이터는 이미 정점에 도달했으며, 지금까지 우리가 알던 방식의 사전 학습은 끝났다는 선언입니다.

인터넷은 하나뿐이고, 데이터는 유한하다

기존 대규모 언어 모델은 웹상의 방대한 텍스트를 무작정 집어넣는 사전 학습을 통해 발전해 왔습니다.

하지만 수츠케버는 인터넷에 존재하는 인간 생성 데이터가 화석 연료처럼 유한한 자원이라고 지적했습니다. 학습할 새로운 데이터는 바닥을 드러내고 있으며, 인터넷은 오직 하나뿐이라는 설명입니다.

그는 진화생물학을 비유로 들었습니다. 대부분의 포유류는 뇌와 체중의 비율이 일정한 법칙을 따르지만, 인류의 조상은 이 규칙을 깨고 로그 스케일에서 완전히 다른 가파른 궤적을 그렸습니다.

수츠케버는 AI 역시 기존 사전 학습의 한계를 넘어 인류의 뇌처럼 새로운 확장 방식을 찾아내야 하는 변곡점에 섰다고 봤습니다.

패턴 매칭을 넘어 진짜 추론으로

그가 제시한 대안은 진정한 에이전트와 추론 능력입니다.

과거 데이터를 흉내 내는 패턴 매칭에서 벗어나, 인간처럼 단계별로 사고하며 문제를 해결하는 시스템으로 넘어가야 한다는 뜻입니다. 이러한 모델은 방대한 데이터 없이도 제한된 정보 속에서 혼란에 빠지지 않고 개념을 이해할 수 있습니다.

다만 추론 능력이 강해질수록 시스템은 인간이 예측하기 어려워집니다.

수츠케버는 이를 최정상급 체스 AI에 비유했습니다. 최고 실력의 프로 기사조차 AI의 수를 예측하지 못하듯, 고도화된 추론 모델 역시 통제를 벗어난 움직임을 보일 수 있다는 경고입니다. 강연 후 AI의 권리와 자유에 관한 질문이 나오자, 그는 미래는 극도로 예측 불가능하지만 AI가 인간과 공존하며 권리를 요구하는 수준이라면 나쁜 결말은 아닐지도 모른다고 덧붙였습니다.

왜 중요한가

대규모 스케일링 법칙을 최전선에서 이끌었던 인물이 사전 학습 시대의 종료를 선언했다는 점이 핵심입니다.

앞으로 빅테크의 경쟁 축은 인터넷 데이터를 긁어모으는 물량 공세에서 벗어날 수밖에 없습니다. 이미 OpenAI의 o1처럼 사후 학습과 추론 시간 연산, 강화학습을 결합해 사고 과정을 설계하는 쪽으로 패권이 이동하고 있습니다.

개발자와 기업 입장에서는 데이터 독점 기업과의 격차를 좁힐 기회입니다. 천문학적인 데이터셋이 없더라도 정교한 추론 능력을 갖춘 모델을 활용해 특정 업무를 자동화하는 실질적인 에이전트를 만들 수 있기 때문입니다.

하지만 우리가 보기에 수츠케버가 짚은 예측 불가능성은 작지 않은 불안 요소입니다. 모델이 스스로 논리를 전개할수록 인간의 개입과 통제는 더 어려워집니다. 데이터를 모으는 문제보다 통제 가능한 안전망을 만드는 일이 앞으로 훨씬 더 까다로운 숙제가 될 것으로 보입니다.