OpenAI, GPT-4o 시스템 카드 공개…음성 복제 위험과 설득력 평가 집중 점검

GPT-4o와 대화를 나눠본 사람이라면 0.3초 만에 자연스러운 감정 억양으로 맞받아치는 성능에 놀랐을 것입니다. 하지만 OpenAI가 직접 공개한 안전성 성적표에서 가장 위험한 요소로 지목된 것은 해킹도, 생화학 무기도 아닌 다름 아닌 AI의 '설득력'이었습니다.

OpenAI는 8월 8일 자사 최신 플래그십 모델인 GPT-4o의 안전성 평가 보고서인 '시스템 카드(System Card)'를 발표했습니다. 자체 위험 평가 기준인 '준비도 프레임워크(Preparedness Framework)'에 따르면 GPT-4o는 사이버 보안, 생물학적 위협, 모델 자율성 항목에서 '낮음(Low)' 등급을 받았습니다. 하지만 설득력(Persuasion) 항목에서 경계선 수준의 '중간(Medium)' 위험으로 평가되면서, 최종 종합 등급 역시 '중간 위험'으로 확정되었습니다.

100명의 레드팀 투입, 가장 큰 복병은 '말솜씨'

GPT-4o는 텍스트와 이미지, 오디오를 하나의 신경망에서 통합 처리하는 엔드투엔드 옴니 모델입니다. 음성 입력에 반응하는 속도가 최소 232밀리초, 평균 320밀리초에 달해 사람 간의 대화와 거의 차이가 없습니다. 하지만 그만큼 무단 음성 복제, 저작권 침해 음성 생성, 사용자의 과도한 감정적 의존 등 새로운 위험도 커졌습니다.

OpenAI는 이를 점검하기 위해 2024년 3월부터 6월 말까지 29개국 45개 언어를 구사하는 100명 이상의 외부 레드팀 전문가를 투입했습니다. 내부 테스트 툴에서 시작해 실제 iOS 앱 환경까지 4단계에 걸쳐 모의 공격을 수행했으며, 자율성 평가에는 METR과 Apollo Research 같은 외부 전문 기관도 참여했습니다.

그 결과 시스템을 악용한 해킹이나 생화학 위험도는 낮았지만, 인간의 마음을 흔드는 설득력이 문제로 떠올랐습니다. 전반적인 수준이 인간을 압도한 것은 아니었지만, 특정 주제의 글에서는 사람 전문가가 작성한 글보다 독자의 생각을 바꾸는 데 더 뛰어난 효과를 보인 것으로 나타났습니다.

미묘한 공개 시점과 쏟아지는 의구심

보고서가 나온 시점도 주목할 만합니다. GPT-4o는 이미 지난 5월 공개되었으나, 상세한 안전 보고서는 수개월이 지난 뒤에야 나왔습니다.

특히 보고서 공개 직전 엘리자베스 워렌 상원의원 등 미 의원들이 OpenAI를 상대로 내부 고발자 보호 및 안전 검증 절차를 소명하라는 공개 서한을 보냈습니다. 안전 부서 고관들이 회사를 떠나며 "화려한 제품 출시에 안전이 뒷전으로 밀렸다"고 폭로한 바 있고, 캘리포니아주에서는 AI 안전 규제 법안이 추진 중입니다. 외신 더 버지(The Verge)는 외부 인력이 참여했음에도 불구하고, 결국 OpenAI가 만든 규칙으로 스스로를 채점한 보고서라는 점을 꼬집었습니다.

왜 중요한가

사용자와 개발자 입장에서 GPT-4o의 실시간 음성 대화 기능은 고객 응대나 어학 학습, 개인 비서 분야에서 지금 즉시 도입할 만큼 강력한 도구입니다. 하지만 설득력 위험이 '중간'으로 분류되었다는 점은 무겁게 받아들여야 합니다. AI가 지나치게 자연스러운 목소리로 친근하게 다가올 때, 사용자가 모르는 사이에 여론 형성이나 소비 결정에서 유도당할 위험이 큽니다.

업계 차원에서는 텍스트 검열 위주의 안전 기준이 한계에 부딪혔음을 보여줍니다. 목소리의 억양과 감정까지 실시간으로 오가는 환경에서는 새로운 방어막이 필요합니다. OpenAI가 텍스트 평가 데이터를 자체 Voice Engine을 통해 오디오로 변환해 시험한 방식은 영리했지만, 동시에 멀티모달 전용 안전 벤치마크가 얼마나 부족한지를 방증합니다.

우리가 보기에 OpenAI가 설득력 위험을 솔직하게 인정한 점은 긍정적입니다. 하지만 시험 문제를 직접 내고 스스로 점수를 매기는 자율 규제 방식은 신뢰를 얻는 데 한계가 있습니다. 각국의 입법 압박이 거세지는 상황에서, 기업이 자체 제작하는 안전성 성적표의 유효기간도 얼마 남지 않아 보입니다.