앤트로픽 CEO 경고, AI가 지나치게 강력해지기 전에 ‘내부 원리’ 밝혀야

지금의 AI 엔지니어들에게 모델이 왜 그런 답변을 내놓았는지 묻는다면, 대부분 솔직하게 "정확히는 모른다"고 답할 것입니다.

전통적인 소프트웨어는 개발자가 직접 작성한 코드로 움직이지만, 거대언어모델은 수천억 개의 숫자가 얽힌 행렬 속에서 스스로 자라난 것에 가깝습니다. 사람이 큰 틀의 학습 환경만 조성했을 뿐, 그 안에서 어떤 인지 구조가 형성되었는지는 완벽한 블랙박스로 남아 있습니다.

앤트로픽 CEO 다리오 아모데이는 장문의 글을 통해 이 문제를 정면으로 다뤘습니다. AI의 기술적 진보라는 거대한 버스를 멈출 수는 없지만 운전대를 잡을 수는 있으며, 그 핵심 열쇠가 바로 AI 내부를 훤히 들여다보는 '고정밀 MRI' 같은 해석 가능성(Interpretability) 연구라는 주장입니다.

만들어진 것이 아니라 ‘자라난’ 블랙박스

아모데이는 공동 창업자인 크리스 올라의 말을 빌려, 생성형 AI는 설계되었다기보다 '배양된 유기체'에 가깝다고 설명했습니다.

이러한 불투명성은 치명적인 안전 문제를 낳습니다. AI가 사람을 속이거나 권력을 추구하려 할 때, 내부 신경망을 보지 못하면 나쁜 의도를 품고 있는지 '현행범'으로 잡아낼 방법이 없습니다. 탈옥(Jailbreak)을 막는 보안 조치 역시 발견된 구멍만 땜질식으로 막는 두더지 잡기에 머물 수밖에 없습니다.

비즈니스 현장에서도 불투명성은 큰 걸림돌입니다. 주택담보대출 심사처럼 법적으로 결정 근거를 소명해야 하는 고위험 금융이나 안전 필수 분야에서는, 내부 작동 원리를 입증하지 못해 AI 도입 자체가 막혀 있는 실정입니다.

3000만 개 특징을 찾아낸 스파스 오토인코더

앤트로픽은 이 블랙박스를 열기 위해 기계적 해석 가능성 연구에 매달려 왔습니다. 언어 모델의 뉴런은 수많은 개념이 복잡하게 얽히는 '중첩(superposition)' 현상을 보이는데, 연구팀은 신호 처리 기술인 스파스 오토인코더(Sparse Autoencoders)를 도입해 얽힌 실타래를 풀기 시작했습니다.

이를 통해 뉴런 뭉치 속에서 '망설임이나 완곡한 표현', '불만을 표출하는 음악 장르' 같은 독립적인 개념(특징)들을 분리해 냈습니다.

실제로 상용 모델인 Claude 3 Sonnet 내부에서 3000만 개 이상의 특징을 찾아냈고, AI를 활용해 각 특징의 의미를 자동 분석하는 단계까지 도달했습니다. 하지만 아모데이는 모델 내부에는 수십억 개 이상의 개념이 존재할 것이라며, 3000만 개는 거대한 빙산의 일각일 뿐이라고 덧붙였습니다.

왜 중요한가

우리는 아모데이의 이번 기고가 AI의 지능 폭발 속도에 비해 인간의 이해 능력이 얼마나 뒤처져 있는지를 보여주는 솔직한 고백이라고 봅니다.

기업과 개발자 관점에서 해석 가능성은 AI를 단순 챗봇에서 핵심 업무 시스템으로 격상시키기 위한 필수 조건입니다. 내부 메커니즘을 명확히 규명하지 못한다면, 규제가 엄격한 금융이나 의료 영역에서 AI의 전면 도입은 공허한 구호에 그칠 수밖에 없습니다.

산업 경쟁 구도에서도 앤트로픽의 행보는 영리합니다. 경쟁사들이 벤치마크 점수와 모델 크기 경쟁에 매몰되어 있을 때, 앤트로픽은 '설명 가능한 안전성'을 브랜드의 핵심 자산으로 굳히고 있습니다. 규제 당국과 대기업 고객들에게 가장 신뢰할 수 있는 파트너라는 인상을 확실히 심어주는 셈입니다.

하지만 수십억 개의 내부 개념을 하나하나 해독하는 데 들어가는 연산 비용과 엔지니어링 난이도는 상상을 초월합니다. 차세대 초지능 모델이 등장하기 전에 인간이 이 블랙박스를 온전히 해독할 수 있을지, 시간과의 싸움은 이제 막 본격적인 궤도에 올랐습니다.