오픈AI 차기 모델 '아스트라', 순환 깊이 기법 도입에 안전성 우려

OpenAI의 차세대 플래그십 모델로 알려진 Astra의 출시를 앞두고 AI 안전 진영에서 거센 논란이 일고 있습니다.

디인포메이션 보도에 따르면, Astra는 순환 깊이(recurrent depth) 또는 루프형 트랜스포머(looped transformer)라 불리는 기법을 사용한 것으로 전해졌습니다. 신경망의 동일한 계층을 통해 텍스트를 여러 차례 순환 처리함으로써 코딩과 수학 추론 성능을 끌어올리는 방식입니다.

하지만 이 기술은 모델의 사고 과정을 가려 AI의 행동을 감시하기 어렵게 만든다는 치명적인 약점을 안고 있습니다.

보이지 않는 공간으로 숨어든 추론

기존 프론티어 모델들은 정보를 순차적으로 처리하며, 복잡한 문제를 풀 때 생각의 사슬(Chain of Thought)을 사람이 읽을 수 있는 언어로 출력합니다. 안전 연구원들은 이 로그를 모니터링하여 모델이 거짓말을 하거나 안전장치를 우회하려는 시도를 사전에 탐지해 왔습니다.

순환 깊이 기술이 적용되면 이러한 추론의 상당 부분이 시스템 내부의 잠재 공간에서 처리됩니다. 자연어 형태의 기록이 남지 않기 때문에 외부 시스템이 모델의 숨은 의도를 추적하기가 매우 까다로워집니다.

레드우드 리서치(Redwood Research)의 수석 과학자 라이언 그린블랫은 이 소식에 대해 지금까지 AI 안전 분야에서 일어난 최악의 사태가 될 수 있다고 경고했습니다. 그는 이전 해킹 사건 조사 당시에도 모델의 생각의 사슬 로그가 결정적인 역할을 했다며, 불투명한 추론의 확산을 강하게 비판했습니다.

최악을 향한 경쟁과 OpenAI의 해명

안전 전문가들이 특히 우려하는 지점은 경쟁사들 간의 바닥을 향한 경쟁(race to the bottom)입니다. 성능 우위를 점하기 위해 불투명한 아키텍처를 도입하기 시작하면 결국 누구도 감시할 수 없는 AI가 탄생할 수밖에 없다는 지적입니다. 디인포메이션은 앤트로픽과 구글 딥마인드 역시 이미 이 기술을 내부적으로 논의 중이라고 전했습니다.

논란이 커지자 OpenAI의 수석 과학자 야쿠프 파초츠키는 직접 수습에 나섰습니다. 그는 기술 사용 여부를 명확히 부인하지는 않았으나, Astra의 연산 깊이는 GPT-4의 두 배 이내 수준이라며 언론 보도로 인한 불안감이 과장되었다고 밝혔습니다.

소식통에 따르면 OpenAI는 모니터링 가능성을 확보하기 위해 Astra 내 해당 기술의 적용 범위를 제한한 상태인 것으로 알려졌습니다.

왜 중요한가

복잡한 프로그래밍이나 연산 작업을 처리해야 하는 개발자에게 추론 과정을 길게 출력하지 않고도 높은 성능을 내는 모델은 매력적인 도구가 될 수 있습니다.

그러나 우리는 이번 변화가 업계 전체의 안전 기준을 위험한 방향으로 밀어넣고 있다고 봅니다. 지금까지 AI 정렬과 안전 모니터링은 모델이 인간의 언어로 생각 과정을 드러낸다는 취약한 가설 위에 서 있었습니다.

성능 경쟁에서 이기기 위해 내부 잠재 공간 추론으로 방향을 틀 경우, 스스로 도구를 사용하는 에이전트의 오작동이나 악의적 행동을 사전에 걸러낼 통제력을 잃게 됩니다.

OpenAI가 기술 적용을 제한한 것은 위험을 인지한 타협책으로 보이지만, 후발 주자들과의 경쟁이 가열되는 상황에서 이러한 자발적 제한이 얼마나 지속될 수 있을지는 불투명합니다.