ChatGPT, 보고 듣고 말한다: 음성 대화 및 이미지 인식 기능 추가

그동안 ChatGPT를 쓴다는 것은 텍스트 입력창에 글자를 치고 AI가 한 줄씩 글을 써내려가는 것을 지켜보는 일이었습니다.

OpenAI가 9월 25일, ChatGPT에 음성 대화와 이미지 인식 기능을 새롭게 추가했다고 발표했습니다. 앞으로 2주에 걸쳐 Plus 및 Enterprise 유료 구독자를 대상으로 순차 배포됩니다. 음성 기능은 iOS와 Android 모바일 앱에서 설정 후 쓸 수 있고, 이미지 인식은 웹과 모바일을 포함한 모든 플랫폼에서 지원됩니다.

보고 듣고 말하는 일상 속 비서

새로 들어간 음성 모드는 마치 실제 사람과 전화 통화를 하듯 자연스럽게 대화를 주고받을 수 있습니다. 단 몇 초의 목소리 샘플만으로 사람과 구별하기 힘든 음성을 합성해 내는 신규 텍스트-음성 변환 모델을 적용했습니다. 전문 성우들과 협업해 만든 5가지 음성 중 마음에 드는 톤을 고를 수 있습니다.

사용자의 말을 알아듣는 데는 OpenAI의 오픈소스 음성인식 엔진인 Whisper가 쓰입니다. 이 음성 합성 기술은 이미 스포티파이의 팟캐스트 음성 번역 파일럿에 적용되어, 진행자의 고유한 목소리 톤을 그대로 유지하면서 스페인어 등 다른 언어로 번역해 들려주는 데 활용되고 있습니다.

이미지 기능은 멀티모달 GPT-3.5 및 GPT-4를 기반으로 작동합니다. 한 장 또는 여러 장의 사진을 올리고 대화할 수 있으며, 모바일 앱에서는 펜 도구로 사진의 특정 부분을 동그라미 쳐서 질문할 수도 있습니다.

냉장고 내부를 찍어 저녁 메뉴와 레시피를 추천받거나, 불이 안 붙는 그릴을 찍어 고장 원인을 찾고, 아이의 수학 문제지를 찍어 정답 대신 힌트를 유도하는 식의 실생활 활용이 가능해졌습니다.

인물 인식 차단과 비영어권 한계

보고 듣는 능력이 생긴 만큼 안전장치도 대폭 강화되었습니다.

OpenAI는 특정 인물의 신원을 식별하거나 얼굴에 대해 직접적인 평가를 내리는 기능을 기술적으로 강하게 제한했습니다. 개인정보 침해와 딥페이크 사기, 모델의 환각 현상을 방지하기 위한 조치입니다.

시각장애인 보조 앱인 'Be My Eyes'와의 협력 경험을 바탕으로, 배경에 사람이 찍혀 있어도 리모컨 설정이나 주변 사물을 자연스럽게 설명할 수 있도록 조율했다고 밝혔습니다.

다만 한계도 뚜렷합니다. 영어 텍스트 판독 능력은 뛰어나지만, 한글이나 아랍어처럼 로마자가 아닌 언어의 문자인식 성능은 아직 떨어집니다. OpenAI 역시 비영어권 문서 판독에는 의존하지 말라고 당부했습니다.

왜 중요한가

우리는 이번 업데이트가 ChatGPT 출시 이후 가장 결정적인 사용자 경험의 도약이라고 봅니다.

사용자 입장에서 가장 큰 변화는 현실 세계의 문제를 굳이 텍스트로 묘사해야 했던 피로가 사라진다는 점입니다. 자전거 부품이 고장 났거나 가전제품에 이상 코드가 떴을 때, 어떻게 설명할지 고민할 필요 없이 사진 한 장 찍고 말로 물어보면 끝납니다. 타이핑이 서툰 이들에게도 생성형 AI의 문턱이 단숨에 낮아졌습니다.

업계 전체로 보면 텍스트만 주고받는 챗봇의 시대는 끝났습니다. 최근 공개된 DALL-E 3에 이어 비전과 음성까지 하나의 앱 안으로 완벽히 통합되면서, 구글이 준비 중인 제미나이(Gemini)에 맞서 멀티모달 생태계의 주도권을 굳히려는 행보로 읽힙니다.

목소리 복제 기능을 전면 개방하는 대신 검증된 5개 음성으로 제한하고, 인물 식별에 강한 잠금장치를 건 OpenAI의 접근법은 매우 영리합니다. 부작용을 통제하면서도 가장 직관적인 형태로 수백만 유료 사용자에게 기능을 빠르게 안착시키는 실용주의적 전략이 돋보입니다.