앤트로픽, 美 NNSA와 손잡고 핵 위험 대화 감지 AI 분류기 도입

원자력 발전소를 가동하는 물리 법칙은 핵무기를 만드는 원리와 뿌리가 같습니다. AI 모델이 똑똑해질수록 국가 안보를 위협하는 위험한 핵 기술 정보가 이용자에게 흘러들어갈 위험도 커지지만, 민간 기업 혼자만의 힘으로는 이런 위험을 온전히 짚어내기 어렵습니다.

앤트로픽(Anthropic)이 미국 에너지부(DOE) 산하 국립핵안보국(NNSA) 및 국립연구소들과 협력해 핵 관련 위험을 감시하는 AI 분류기를 공동 개발했다고 발표했습니다. 초기 테스트 결과, 무해한 일반 대화와 위험한 핵 관련 대화를 96%의 정확도로 구분해 냈습니다.

이 분류기는 이미 클로드(Claude)의 실제 서비스 트래픽에 배포되어 오남용을 감지하는 데 쓰이고 있습니다. 앤트로픽은 이 방식을 프론티어 모델 포럼(Frontier Model Forum)을 통해 다른 주요 AI 기업들과도 공유할 계획입니다.

핵 안보 당국과 손잡고 위험 질문 걸러낸다

핵 기술은 본질적으로 평화적 이용과 군사적 전용이 공존하는 이중 용도 성격을 띱니다. 민간 테크 기업의 연구원들이 기밀에 속하는 핵무기 제조 관련 지식을 자체적으로 완벽히 검증하는 것은 불가능에 가깝습니다.

앤트로픽은 지난해 4월부터 NNSA와 파트너십을 맺고 자사 모델의 핵 확산 위험을 평가해 왔습니다. 이번 발표는 단순히 위험을 진단하는 데서 나아가, 실제 서비스를 실시간으로 모니터링하는 보호 장치를 완성했다는 의미가 있습니다.

새로 도입된 분류기는 클로드와 오가는 대화 내용을 분석해 위험성을 판단합니다. 초기 배포 데이터에 따르면 실제 클로드 대화 환경에서도 높은 식별력을 유지하며 안정적으로 작동하고 있는 것으로 나타났습니다.

왜 중요한가

일반 이용자 입장에서는 위험한 핵무기 제조법을 물어보지 않는 한 평소 쓰던 환경과 달라질 것은 없습니다. 다만 핵물리학이나 원자력 공학을 연구하는 학생과 연구자라면, 민감한 경계선에 걸친 전문적인 질문을 던졌을 때 클로드의 거절 빈도가 전보다 늘어날 수 있습니다.

AI 업계 관점에서는 빅테크와 정부 당국의 이상적인 협력 모델을 보여줬다는 평가가 나옵니다. 치명적인 국가 안보 위협을 민간 기업이 자의적으로 판단하지 않고, 최고 수준의 전문성을 가진 국립 연구 기관의 검증을 거쳐 안전장치를 마련했기 때문입니다. 이는 규제 당국의 압박을 선제적으로 방어하는 영리한 전략이기도 합니다.

우리가 보기에 이 방식은 다른 주요 AI 개발사들로 빠르게 확산될 것으로 보입니다. 다만 초기 테스트 정확도가 96%라는 점은 반대로 4%의 맹점이 존재한다는 뜻이기도 합니다. 단 한 번의 유출도 치명적일 수 있는 핵 안보 분야에서, 교묘한 우회 프롬프트 공격을 이 분류기가 어디까지 완벽하게 차단할 수 있을지는 계속 지켜봐야 할 문제입니다.