OpenAI, 희소 회로로 신경망 블랙박스 해석하는 새 연구 공개

최신 언론과 연구진이 AI의 위험성을 경고할 때마다 부딪히는 벽이 있습니다. 모델이 왜 그런 답을 내놓았는지 내부 계산 과정을 들여다볼 방법이 마땅치 않다는 점입니다. 기존 연구들은 이미 복잡하게 얽혀버린 신경망을 사후에 역공학 방식으로 풀어내려 했지만, 뉴런 하나가 수천 개의 다른 뉴런과 연결돼 수십 가지 기능을 동시에 수행하다 보니 해석이 사실상 불가능에 가까웠습니다.

OpenAI는 11월 13일, 완전히 반대 방향에서 접근한 연구 결과를 공개했습니다. 다 얽힌 실타래를 푸는 대신 애초에 실이 엉키지 않도록 학습시키는 방식입니다.

수천 개의 연결을 단 몇십 개로 강제 축소

연구진은 GPT-2와 유사한 구조의 언어 모델을 학습시키면서, 가중치 대부분을 강제로 0으로 고정했습니다.

뉴런의 전체 숫자는 늘리되, 각 뉴런이 가질 수 있는 연결 수를 수십 개 수준으로 극단적으로 제한한 것입니다. 이를 통해 모델 내부 연산이 서로 간섭하지 않고 독립적으로 분리되도록 유도했습니다.

연구진이 파이썬 코드의 따옴표 닫기(작은따옴표로 시작하면 작은따옴표로 끝내기) 같은 간단한 작업을 시켜본 결과, 해당 기능만을 전담하는 작고 명확한 회로를 모델 안에서 분리해 낼 수 있었습니다. 모델의 나머지 부분을 전부 잘라내도 이 회로만 있으면 작업이 정상 작동했고, 해당 연결 몇 개를 끊으면 능력이 즉시 사라졌습니다.

더욱 흥미로운 점은 모델의 규모를 키우고 연결을 더 희소하게 만들수록, 특정 작업을 수행하는 내부 회로가 오히려 더 단순하고 명확해졌다는 사실입니다.

왜 중요한가

현재 업계는 AI의 속임수나 위험 행동을 감시하기 위해 모델이 생각 과정을 단계별로 서술하게 만드는 생각의 연쇄(Chain of Thought) 방식에 크게 의존하고 있습니다. 하지만 OpenAI 연구진이 지적하듯, 똑똑해진 AI가 스스로 적어내는 설명에 의존하는 감시 체계는 언젠가 취약해질 수밖에 없습니다. 궁극적인 안전을 확보하려면 내부 물리적 연산을 직접 추적할 수 있어야 합니다.

물론 이 기술이 당장 상용 모델에 쓰이기는 어렵습니다. 현재의 AI 가속기 하드웨어는 빽빽한 밀집 행렬 연산에 최적화되어 있어, 연결이 듬성듬성한 희소 모델을 학습하고 배포하는 것은 비용과 효율 면에서 매우 불리합니다. 이번에 실험한 모델 역시 최신 프론티어 모델에 비하면 턱없이 작습니다.

그럼에도 이번 연구는 거대 신경망이 반드시 해석 불가능한 블랙박스일 필요는 없다는 점을 증명했다는 데 큰 가치가 있습니다. 고성능 AI의 안전성을 맹목적인 믿음이 아닌 투명한 공학적 회로도로 검증할 수 있는 가능성을 열어준 셈입니다.