오픈AI, '초인공지능 정렬' 연구에 1천만 달러 지원 프로그램 발표

인간보다 훨씬 똑똑한 AI가 작성한 수백만 줄의 복잡한 코드를 과연 인간이 안전하다고 검증할 수 있을까요?

OpenAI는 12월 14일, 전 구글 CEO 에릭 슈미트와 손잡고 초인공지능의 안전 연구를 지원하는 1000만 달러 규모의 '슈퍼얼라인먼트 패스트 그랜트(Superalignment Fast Grants)' 프로그램을 발표했습니다.

OpenAI는 향후 10년 안에 초지능이 등장할 수 있다고 내다보고 있습니다. 현재 AI 안전을 지탱하는 핵심 기술은 인간 피드백 기반 강화학습(RLHF)입니다. 하지만 모델이 인간의 지적 수준을 아득히 뛰어넘는 순간, 인간은 취약한 감독자에 불과해지며 기존의 통제 방식은 무력화됩니다.

초인적 AI를 위한 'AI 거짓말 탐지기' 연구

OpenAI가 이번에 제시한 핵심 연구 분야는 기존의 한계를 넘어서는 기술적 돌파구들입니다.

가장 대표적인 것이 '약자-강자 일반화(Weak-to-strong generalization)'입니다. 지적 능력이 떨어지는 인간이나 약한 모델이 자신보다 훨씬 강력한 모델을 어떻게 올바르게 유도하고 통제할 수 있는지를 규명하는 과제입니다.

이와 함께 모델의 내부 작동 방식을 들여다보는 해석 가능성 연구도 포함되었습니다. 이를 응용해 일종의 'AI 거짓말 탐지기'를 개발하는 방안도 제시되었습니다. 또한 AI가 다른 AI의 복잡한 작업을 감시하도록 돕는 확장 가능한 감독, 생각의 사슬(Chain-of-thought)의 충실성 등이 지원 대상입니다.

지원 규모는 학술 연구실과 비영리 단체, 개인 연구자 기준 10만 달러에서 최대 200만 달러입니다. 대학원생에게는 1년간 7만 5000달러의 생활비와 7만 5000달러의 컴퓨팅 및 연구비를 합친 총 15만 달러 상당의 펠로우십을 제공합니다. 기존에 정렬 연구 경험이 전혀 없어도 지원할 수 있으며 심사 기간도 4주로 대폭 단축했습니다.

왜 중요한가

연구자와 대학원생 입장에서는 진입 장벽 없이 프론티어 AI 안전 분야로 들어설 수 있는 드문 기회입니다. 특히 일반 대학 랩실에서 가장 부족한 고성능 컴퓨팅 크레딧을 직접 지원받을 수 있다는 점은 현금 지원 이상의 실질적인 가치를 지닙니다.

산업 전반으로 보면 OpenAI의 영리한 외부 연구 레버리지 전략으로 읽힙니다. 초지능 정렬은 전 세계 누구도 답을 모르는 기술적 난제입니다. 데이터센터 운영비에 비하면 소액인 1000만 달러로 전 세계 정상급 연구자들을 자기 생태계의 안전망 구축에 끌어들였습니다.

하지만 우리가 보기에 이는 업계의 뼈아픈 현주소를 드러내는 장면이기도 합니다. 최전선에 서 있는 OpenAI조차 현재의 RLHF 기술로는 미래의 초지능을 통제할 수 없음을 인정한 셈입니다. 모델의 성능이 가파르게 치솟는 속도에 비해 안전 통제 이론의 발전이 뒤처진다면, 결국 인간이 제어할 수 없는 블랙박스를 마주하게 될 위험이 큽니다.