메타, 첨단 AI 안전 프레임워크 갱신…뮤즈 스파크 '통제 상실' 위험 평가 공개

지금까지 AI의 안전성을 확보하는 방식은 일종의 단속에 가까웠습니다. 금지 단어가 나오면 답변을 거부하고, 민감한 주제는 정해진 안내 문구로 돌려버리는 식이었지만, 모델이 똑똑해질수록 이런 땜질식 처방은 한계를 드러낼 수밖에 없습니다.

Meta는 4월 8일 기존 프런티어 AI 프레임워크를 대폭 강화한 '고급 AI 스케일링 프레임워크'를 발표하고, 차세대 모델인 Muse Spark의 안전 및 준비도 보고서를 함께 공개했습니다.

규칙 암기 대신 '규칙의 이유'를 이해하는 AI

이번 프레임워크 개편에서 가장 눈에 띄는 대목은 평가 항목의 확장입니다. 화학·생물학적 위험이나 사이버 보안 위협뿐만 아니라, 모델의 자율성 확대에 따른 '통제 상실 위험(loss of control)'을 새로운 평가 영역으로 공식 편입했습니다. 모델에 더 많은 자율 권한이 부여되었을 때 의도한 통제 장치가 제대로 작동하는지 검증하겠다는 취지입니다.

Meta는 이 안전 기준을 오픈소스 가중치 공개, 제한적 API 제공, 폐쇄형 서비스 등 배포 방식에 상관없이 모든 프런티어 모델에 동일하게 적용하기로 했습니다.

Muse Spark의 경우 보호 장치를 적용하기 전과 후에 수천 가지 적대적 공격 시나리오를 거쳤으며, 평가 결과 현재로서는 통제 상실을 유발할 만한 수준의 자율 실행 능력은 갖추지 못한 것으로 확인되었습니다. 아울러 민감한 쟁점에 대한 응답에서도 편향되지 않는 이념적 균형을 유지했다고 밝혔습니다.

접근법 자체도 달라졌습니다. 과거에는 개별 시나리오마다 응답을 거부하도록 하나씩 학습시켰지만, Muse Spark의 진화된 추론 능력을 활용해 안전 지침을 명확한 원칙 형태로 전환했습니다. 모델에게 단순한 규칙뿐만 아니라 '그 규칙이 왜 안전을 위해 필요한지' 그 배경 논리를 함께 학습시켰기 때문에, 사전에 규정되지 않은 새로운 유형의 프롬프트 공격에도 유연하게 대처할 수 있게 되었습니다.

왜 중요한가

Meta의 이번 발표는 고성능 모델의 안전 거버넌스를 단순한 차단 시스템에서 상황 판단의 영역으로 끌어올렸다는 점에서 주목할 만합니다.

개발자와 기업 사용자 입장에서 가장 반가운 변화는 불필요한 거절 반응의 감소입니다. 기존의 단어 기반 필터링은 정상적인 업무 질의까지 무차별적으로 차단해 실무 적용에 큰 걸림돌이 되었습니다. 모델이 안전의 원리를 이해하고 맥락에 맞게 대응한다면 비즈니스 워크플로우에 안전하면서도 유연하게 AI를 녹여낼 수 있습니다.

산업 전반으로 보면 규제 당국과 경쟁사를 겨냥한 영리한 포석입니다. 그동안 오픈 모델 진영은 안전 검증이 취약하다는 비판을 지속적으로 받아왔습니다. Meta가 오픈 모델과 폐쇄형 모델에 똑같이 엄격한 통제 상실 평가를 적용하고 보고서 형태로 투명하게 공개하겠다고 나선 것은, 폐쇄형 모델을 고수하는 경쟁사들에게도 동등한 수준의 검증 투명성을 요구하는 압박 카드가 됩니다.

다만 원칙을 학습시켰다고 해서 모든 문제가 해결되는 것은 아닙니다. 단독 벤치마크 테스트에서 안전성이 입증되었더라도, 향후 다양한 외부 도구와 결합된 자율 에이전트 환경에서 예기치 못한 우회 경로가 발생했을 때 이 원칙 중심의 방어선이 어디까지 버텨줄지는 계속 지켜봐야 할 문제입니다.