OpenAI, 실시간 음성·시각 처리 가능한 GPT-4o 출시

지금까지 AI와 음성으로 대화할 때는 무전기를 쓰는 것처럼 어색한 침묵이 흘렀습니다. 말을 끝내고 서너 초를 기다려야 AI가 딱딱한 기계음으로 답변을 내놓는 식이었습니다.

OpenAI가 5월 13일 공개한 새 플래그십 모델 GPT-4o는 이러한 지연을 사실상 없앴습니다. 이름의 알파벳 o는 모든 것을 아우른다는 의미의 옴니(omni)에서 따왔습니다. 음성 입력에 대한 응답 속도가 최소 232밀리초, 평균 320밀리초에 달해 인간이 일상 대화에서 반응하는 속도와 거의 비슷합니다.

보고 듣고 말하는 과정을 단일 신경망으로 통합

기존 ChatGPT의 음성 모드는 음성을 텍스트로 변환하고, GPT-4가 답변을 작성한 뒤, 다시 음성으로 변환하는 세 단계 모델 파이프라인을 거쳤습니다. 이로 인해 응답 시간이 평균 2.8초에서 5.4초까지 걸렸습니다.

더 큰 문제는 텍스트로 변환되는 과정에서 말하는 사람의 어조, 감정, 배경 소음 같은 중요한 맥락이 모두 사라진다는 점이었습니다. AI가 웃거나 노래를 부르며 감정을 표현하는 것도 불가능했습니다.

GPT-4o는 텍스트와 시각, 음성을 하나의 신경망에서 처음부터 끝까지 학습하는 엔드투엔드 방식을 도입했습니다. 벤치마크 결과 영어 텍스트와 코딩 능력은 기존 GPT-4 Turbo 수준을 유지하면서, 다국어 처리와 시각 및 음성 이해 능력은 최고치를 기록했습니다.

새로운 토크나이저 덕분에 한국어를 포함한 비영어권 언어의 효율도 높아졌습니다. 한국어는 기존 대비 약 1.7배, 일본어와 중국어는 1.4배 토큰이 절감되었습니다. 개발자용 API 기준으로는 GPT-4 Turbo 대비 속도는 2배 빨라졌고, 비용은 절반으로 낮아졌으며, 호출 제한은 5배 늘어났습니다.

무료 사용자 개방과 신중한 음성 배포

출시 정책에서도 큰 변화가 있습니다. OpenAI는 GPT-4o의 텍스트와 이미지 기능을 유료 구독자뿐만 아니라 ChatGPT 무료 사용자에게도 순차적으로 개방하기 시작했습니다. 유료 Plus 사용자에게는 무료 계정 대비 최대 5배 높은 사용 한도가 주어집니다.

다만 고도화된 실시간 음성 및 영상 기능은 안전 문제를 고려해 점진적으로 배포됩니다. 초기에는 텍스트 및 이미지 입력과 텍스트 출력 중심이며, 새로운 음성 모드는 향후 몇 주 안에 Plus 사용자를 대상으로 알파 테스트 형태로 먼저 도입됩니다. 음성 출력도 엄선된 프리셋 음성으로 제한됩니다.

안전성 평가를 위해 사회심리학, 편향, 가짜 뉴스 등 다양한 분야의 외부 전문가 70여 명이 참여한 레드팀 테스트를 거쳤습니다. 생화학 위협, 사이버 보안, 설득력 평가 등에서 중간 수준 이상의 위험도는 나타나지 않았다고 밝혔습니다.

왜 중요한가

우리는 이번 발표가 생성형 AI 시장의 경쟁 구도를 완전히 흔들어 놓았다고 생각합니다. 그동안 월 20달러 구독 장벽 뒤에 있던 최고 등급의 성능을 무료 사용자에게 풀고, API 가격마저 절반으로 깎아버리면서 가성비를 내세우던 경쟁사 모델들의 입지가 크게 좁아졌습니다.

사용자 관점에서는 300밀리초대 응답 속도와 감정 표현이 가능한 음성 기능이 진정한 실시간 비서의 가능성을 열어줍니다. 상대방 말을 끊고 끼어들거나 억양을 감지하는 상호작용은 어학 튜터, 고객 센터 응대, 차량용 인터페이스 등에서 체감할 수 있는 큰 도약입니다.

하지만 현실적인 우려도 분명합니다. 인간과 구별하기 힘든 자연스러운 음성은 보이스피싱 같은 사기 범행이나 딥페이크 악용 가능성을 키우고, 사용자가 AI에 과도하게 정서적으로 의존하는 부작용을 낳을 수 있습니다. OpenAI가 실시간 음성 기능의 전면 공개를 늦추고 단계적 검증을 택한 것은 영리한 판단이지만, 기술이 주는 충격을 감안하면 안전 장치의 실효성에 대한 면밀한 검증이 이어져야 합니다.