1931년 이전 데이터로만 학습한 13B AI '토키' 공개…인터넷 모르는 AI의 사고력 시험

만약 대형 언어 모델의 지식을 1930년 12월 31일 시점에서 강제로 단절시키고, 현대 인터넷을 전혀 보지 못하게 학습시킨다면 어떻게 될까요?

전 오픈AI 연구원 알렉 래드포드와 전 앤트로픽 연구원 데이비드 듀베노, 그리고 닉 레빈 연구팀이 이 질문을 검증하기 위해 복고풍 언어 모델 '토키(Talkie)'를 선보였습니다. 130억 파라미터(13B) 규모의 이 모델은 현재 미국 퍼블릭 도메인에 속한 1931년 이전 서적, 신문, 학술지, 특허, 판례 등 2600억 토큰의 영어 데이터로만 사전 학습되었습니다.

단순히 옛날 말투를 흉내 내는 챗봇에 그치지 않고, 현대 AI 연구의 최대 난제인 벤치마크 오염을 완벽하게 차단해 인공지능 본연의 추론 능력을 측정하기 위한 프로젝트입니다.

컴퓨터를 모르는 AI가 파이썬 코드를 추론하다

토키가 가진 가장 독특한 가치는 현대의 웹 문서나 프로그래밍 코드를 단 한 줄도 본 적이 없다는 점입니다.

연구팀은 디지털 컴퓨터가 존재하지 않던 시절의 AI가 코딩을 배울 수 있는지 실험했습니다. 프롬프트에 아주 단순한 파이썬 함수 예시 몇 개를 문맥으로 보여준 뒤 새로운 코드를 작성하게 한 결과, 토키는 놀랍게도 정답을 작성해 냈습니다.

카이사르 암호의 암호화 함수를 예시로 주고 복호화 함수를 구현하라는 문제에서, 토키는 더하기 기호를 빼기 기호로 바꾸어 정상 작동하는 복호화 코드를 완성했습니다. 비록 한 글자를 바꾼 수준의 간단한 수정이었지만, 코딩 경험이 전무한 상태에서 문맥만으로 '역함수'라는 추상적 논리를 파악했음을 보여줍니다.

미래 예측 실험도 흥미롭습니다. 1930년 이후의 실제 역사적 사건을 입력하고 모델이 느끼는 당혹도(surprisingness)를 측정한 결과, 1930년 이전 사건에는 담담하게 반응하던 모델이 1950년대와 1960년대 사건을 마주했을 때 크게 놀라는 반응을 보였습니다. 이후 당혹도는 완만한 평체에 접어들며 모델의 예측 한계를 명확히 드러냈습니다.

옛날 종이 스캔의 노이즈와 데이터 유출과의 사투

1930년대 지식만으로 모델을 구축하는 과정에는 예상치 못한 기술적 난관들이 있었습니다.

가장 큰 문제는 OCR(광학 문자 인식) 품질이었습니다. 1930년 이전 자료는 모두 활자 인쇄물을 스캔한 것이어서 기존 OCR을 그대로 사용할 경우, 사람이 직접 타이핑한 데이터로 학습시켰을 때 대비 성능이 30% 수준에 그쳤습니다. 정규식 정제를 거쳐 70%까지 끌어올렸으며, 현재는 자체 빈티지 OCR 시스템을 개발 중입니다.

대화형 모델로 미세 조정하는 과정도 까다로웠습니다. 시중의 현대적 대화 데이터를 쓰면 즉시 시대착오적인 어투와 지식이 스며들기 때문에, 19세기 에티켓 교본과 요리책 등에서 지시어-응답 쌍을 추출했습니다. 이후 클로드 소네트 4.6을 채점관으로 활용해 직접 선호도 최적화를 진행했습니다.

필터링에도 불구하고 완벽한 차단은 어려워, 초기 7B 모델은 루스벨트 대통령의 뉴딜 정책을 알고 있었고 이번 13B 모델 역시 제2차 세계대전과 유엔에 대한 파편화된 지식을 일부 드러내기도 했습니다.

왜 중요한가

오늘날의 프런티어 모델들은 모두 현대 인터넷이라는 같은 우물에서 길어 올린 데이터를 학습합니다. 이 때문에 평가용 시험 문제가 학습 데이터에 이미 포함되어 버리는 벤치마크 오염 문제가 심각합니다. 모델이 실제로 추론하는 것인지, 과거에 본 정답을 단순히 기억해 출력하는지 판별하기 어렵습니다.

토키는 데이터 오염이 완전히 배제된 극히 드문 '깨끗한 표본'을 제공합니다. 연구자들은 이 모델을 통해 인터넷 지식과 완전히 분리된 상태에서 AI의 순수한 일반화 성능, 새로운 과학적 원리 발견 가능성, 데이터 분포가 모델의 사고방식에 미치는 영향을 투명하게 관찰할 수 있습니다.

동일한 아키텍처와 연산량을 사용해 현대 웹 데이터(FineWeb)로 학습시킨 쌍둥이 모델과의 비교에서도, 토키는 지식 문제에서는 밀렸지만 핵심 언어 이해와 기초 수리 능력에서는 대등한 성능을 냈습니다. 언어의 논리적 뼈대를 학습하는 데 방대한 현대 인터넷 정보가 필수는 아니라는 방증입니다.

현재 웹사이트에서 토키와 직접 대화를 나눠볼 수 있습니다. 틱톡에 대해 물어보면 1860년대에 발명된 기계 장치 이야기로 답할 정도로 독특합니다. 연구팀은 이번 여름 1조 토큰 이상의 역사 데이터를 활용한 GPT-3 수준의 모델을 추가로 선보일 계획이며, AI가 본래 어떻게 사고하는지 그 근원을 파헤치는 중요한 이정표가 될 것으로 보입니다.