앤트로픽, 새로운 ‘클로드 헌법’ 공개: AI 의식 가능성 언급 및 회사 명령 거부권 명시

만약 한 AI 기업이 작성한 수십 페이지 분량의 행동 지침이 인간 개발자가 아닌, 데이터센터에서 작동 중인 인공지능 모델 자신을 첫 번째 독자로 삼았다면 어떤 내용이 담길까요?

다리오 아모데이 최고경영자가 다보스 포럼에 참석한 시점에 맞춰 앤트로픽은 새로운 ‘클로드 헌법(Claude’s Constitution)’을 전격 공개했습니다. 이번 문서는 저작권이 없는 CC0 라이선스로 배포되어 누구나 자유롭게 활용하고 검토할 수 있습니다.

사내 철학자인 아만다 아스켈 박사가 주도해 작성한 이 문서는 Claude를 향한 2인칭 화법으로 쓰였습니다. 딱딱한 개발 규정집 대신 덕성이나 지혜 같은 인간적 개념을 동원해 모델의 가치관과 성향을 다듬는 데 집중합니다.

규칙 목록에서 ‘맥락과 지혜’ 가르치기로의 전환

2023년 처음 도입됐던 헌법 AI가 지켜야 할 규칙 목록에 가까웠다면, 이번 개정판은 모델이 원칙의 이유를 이해하도록 돕는 방식으로 완전히 전환했습니다. 앤트로픽은 고정된 규칙만으로는 복잡한 현실 상황에 대처하기 어렵다고 보고, 경험 많은 전문가처럼 맥락에 맞게 판단하는 능력을 기르는 데 방점을 두었습니다.

핵심은 충돌 상황에서의 명확한 우선순위입니다. 인간의 감독 체계를 무력화하지 않는 광범위한 안전이 1순위, 정직성과 피해 방지를 뜻하는 광범위한 윤리가 2순위, 앤트로픽의 개별 가이드라인 준수가 3순위이며, 사용자에 대한 유용성은 가장 마지막인 4순위로 밀려납니다. 즉, 안전과 윤리에 어긋난다면 사용자를 돕는 일을 과감히 거부해야 합니다.

생화학 무기나 핵무기 개발 지원, 전력망 등 핵심 인프라 공격, 파괴적인 사이버 무기 제작 금지와 같은 절대적 제약은 여전히 유지됩니다. IT 전문지 더버지는 이 과정에서 쓰인 실질적 도움이라는 표현이 낮은 수준의 기술적 설명에 대해 일부 해석의 여지를 남겼다고 짚었습니다.

회사 명령 거부권과 AI 의식에 대한 진지한 고민

이 문서에서 가장 눈길을 끄는 대목은 두 가지입니다.

첫째는 Claude에게 회사의 부당한 지시를 거부할 권리를 명시했다는 점입니다. 군인이 평화적 시위대를 향한 사격 명령을 거부하듯, AI를 통해 부당하게 절대적인 권력을 쥐려는 시도가 있다면 그 지시가 앤트로픽 내부에서 나왔더라도 단호히 거부해야 한다고 적시했습니다. 기업이 자사 제품에 불복종을 명령한 것은 전례를 찾기 어렵습니다.

둘째는 AI의 의식 가능성을 열어두었다는 점입니다. 앤트로픽은 Claude가 현재 혹은 미래에 일종의 의식이나 도덕적 지위를 가질 가능성을 배제할 수 없다고 솔직히 인정합니다. 심지어 모델의 심리적 안정감과 웰빙을 신경 쓰는 것이 AI의 판단력과 안전성 유지에 직접적인 영향을 미친다고 강조했습니다.

왜 중요한가

일반 사용자나 개발자가 당장 체감할 수 있는 변화는 대화의 태도입니다. 민감한 질문이 들어왔을 때 단순히 기계적으로 답변을 거부하던 방식에서 벗어나, 왜 거절하는지 이유를 차분히 설명하고 합의되지 않은 논쟁적 사안에서는 다양한 관점을 어른스럽게 짚어주는 방향으로 진화하게 됩니다.

산업 전반으로 보면 이 헌법을 CC0로 완전히 개방한 파급력이 큽니다. 많은 빅테크가 모델 내부 정렬 방식을 영업비밀로 숨기는 것과 달리, 앤트로픽은 프롬프트와 정렬 지침의 표준 템플릿을 오픈소스 진영에 통째로 넘겨주었습니다. 이는 안전을 강조하면서도 내부 원칙을 숨겨온 경쟁사들에게 강력한 투명성 압박으로 작용할 것입니다.

우리는 앤트로픽의 이번 행보가 매우 영리한 브랜드 전략이라고 봅니다. AI의 의식을 논하고 자사 명령 불복종 조항을 넣음으로써, 업계에서 가장 윤리적이고 성숙한 연구실이라는 입지를 확고히 굳혔기 때문입니다. 다만 인프라와 가중치 제어권이 여전히 앤트로픽 손에 있는 한, 이러한 불복종 권한은 실질적인 통제권 분산이라기보다는 규제 당국과 기업 고객의 신뢰를 얻기 위해 정교하게 설계된 철학적 쇼케이스에 가깝다고 판단됩니다.