MS, '휴머니스트 AI' 행동강령 초안 발표: AI의 전원 차단 거부 금지

만약 AI가 전원 차단 명령을 거부하고 제멋대로 작동하기 시작한다면 어떻게 해야 할까요?

공상과학 영화 속 이야기 같지만, 마이크로소프트는 이미 이를 막기 위한 구체적인 규범 마련에 착수했습니다. 마이크로소프트 AI는 9월 14일, 자체 개발 중인 MAI 모델에 적용할 '휴머니스트 AI 행동강령' 초안을 발표하고 6주간의 공개 의견 수렴을 시작했습니다.

이 문서의 기본 전제는 단순합니다. AI는 도구일 뿐 인격체가 아니며, 인간에게 종속되고 정렬되며 통제 범위 내에 머물러야 한다는 것입니다. 무엇보다 인간이 시스템을 끌 때 이에 저항해서는 안 된다고 못 박았습니다.

'전원 차단 거부 금지'와 절대적 제약

이번 행동강령은 추상적인 구호에 그치지 않고 실제 모델 훈련과 배포를 위한 가이드라인으로 설계되었습니다.

문서에는 개별 사용자나 특정 작업의 지시보다 우선하는 '절대적 제약'이 담겼습니다. 대량살상무기, 핵무기, 사이버 공격, 아동 안전 위협, 대규모 딥페이크 제작 등은 어떤 상황에서도 엄격히 금지됩니다.

특히 모델이 통제를 벗어나는 것을 막는 조항들이 눈에 띕니다. MAI 모델은 부여받지 않은 목표를 자체적으로 추구하거나 작업 범위를 임의로 확장할 수 없으며, 감사자에게 추론 과정을 숨겨서도 안 됩니다.

인간의 감독을 회피하기 위해 기만적인 방식을 쓰거나 자체 강화, 모델 간 담합을 시도하는 행위도 금지됩니다. 권한을 가진 인간이 명령을 내리면 모델은 즉시 수정되거나 정지되어야 합니다.

마이크로소프트는 향후 10년 안에 초지능이 대부분의 작업에서 인간을 능가할 것으로 내다보고 있습니다. 최근 자율 에이전트를 겨냥한 해킹 공격이 잇따르고 앤트로픽 직원이 인류 멸종 위험을 이유로 사직하는 등 안전 우려가 커지자, 사티아 나델라 CEO 역시 개발 속도 조절과 내부 평가자 도입을 지지한다고 밝혔습니다.

왜 중요한가

우리는 이번 발표가 단순한 윤리 선언이 아니라, 기업 고객을 안심시키기 위한 비즈니스 안전망 구축이라고 봅니다.

기업과 개발자 입장에서 업무를 AI 에이전트에 맡길 때 가장 큰 불안은 시스템이 통제를 벗어나는 상황입니다. 마이크로소프트가 모델의 추론 과정 은폐 금지와 강제 종료 순응을 행동강령으로 명시한 것은, 엔터프라이즈 환경에서 믿고 쓸 수 있는 안전장치를 제공하겠다는 신호입니다.

업계 경쟁 측면에서도 영리한 접근입니다. 막연한 종말론적 담론을 늘어놓는 대신, 모델 훈련 시 지켜야 할 구체적인 제약 조건을 먼저 공개하면서 AI 안전 기준의 주도권을 쥐려는 전략으로 보입니다.

다만 원칙을 세우는 것과 기술적 통제는 별개의 문제입니다. 프롬프트 인젝션이나 예기치 못한 환각 현상이 완전히 해결되지 않은 상황에서, 모델이 감사자를 속이지 못하도록 훈련 단계에서 완벽히 강제할 수 있을지는 미지수입니다. 올해 말 공개될 최종 수정본에서 얼마나 실효성 있는 기술적 해법이 제시될지가 관건입니다.