오픈AI, 차세대 멀티모달 모델 'GPT-4' 공개…변호사 시험 상위 10% 수준

ChatGPT가 그럴듯한 거짓말을 늘어놓던 환각 증상에 익숙해질 무렵, OpenAI가 인간의 전문직 시험을 가볍게 통과하는 차세대 모델을 꺼내 들었습니다.

OpenAI는 3월 14일 멀티모달 대형언어모델 GPT-4를 공식 발표했습니다. 기존의 텍스트뿐만 아니라 이미지 입력까지 처리할 수 있으며, 각종 학술 및 전문 자격 평가에서 인간 수준의 성능을 입증했습니다.

변호사 시험 상위 10% 진입, 다국어 성능의 비약

가장 극적인 변화는 시험 성적표에서 드러납니다. 미국 모의 변호사 시험에서 기존 GPT-3.5는 하위 10% 수준에 머물렀지만, GPT-4는 상위 10% 안쪽으로 단숨에 도약했습니다. 시험을 위해 별도의 맞춤 학습을 거치지 않았음에도 다양한 AP 시험과 올림피아드 문제에서 상위권 점수를 기록했습니다.

이미지와 텍스트를 혼합해 입력받고 텍스트로 답하는 멀티모달 기능도 탑재되었습니다. 도표나 스크린샷, 손그림을 보고 코드를 짜거나 분석할 수 있지만, 현재는 단일 파트너사 대상의 연구 프리뷰로 제한되어 일반 이용은 불가능합니다. 텍스트 입력 기능은 ChatGPT Plus 유료 구독자와 대기자 명단에 등록된 API 개발자에게 즉시 개방되었습니다.

언어 장벽도 대폭 낮췄습니다. 57개 과목으로 구성된 MMLU 벤치마크를 번역해 측정한 결과, 테스트 대상 26개 언어 중 24개 언어에서 GPT-4의 다국어 점수가 기존 GPT-3.5의 영어 성적을 넘어섰습니다. 웨일스어, 라트비아어, 스와힐리어 같은 저자원 언어에서도 안정적인 이해도를 보였습니다.

인프라 차원에서는 마이크로소프트 애저와 함께 슈퍼컴퓨터를 처음부터 다시 설계했습니다. 1년 전 GPT-3.5로 사전 점검을 마친 덕분에 이번 학습은 전례 없이 안정적이었으며, 학습 완료 전 최종 성능을 사전에 정확히 예측할 수 있었습니다. 모델의 취약점을 외부에서 점검할 수 있는 평가 프레임워크인 OpenAI Evals도 함께 오픈소스로 공개되었습니다.

개발자 편의도 개선되었습니다. API 내 시스템 메시지 기능을 통해 정형화된 말투에서 벗어나 모델의 성격, 작업 방식, 응답 규칙을 세밀하게 제어할 수 있게 되었습니다.

6개월간 안전 훈련 거쳤지만 여전한 과신

OpenAI는 사전 학습을 끝낸 뒤 무려 6개월 동안 안전성과 정렬 작업에 매달렸습니다. 사이버 보안, 생물학적 위험 등 50명 이상의 외부 전문가와 레드팀 테스트를 진행하고 강화학습 과정에 안전 보상 신호를 적용했습니다.

그 결과 금지된 요청에 응답하는 비율은 GPT-3.5 대비 82% 감소했고, 내부 사실성 평가 점수는 40% 향상되었습니다.

그러나 한계는 뚜렷합니다. 사실 왜곡이나 추론 오류는 여전히 발생하며, 학습 데이터는 2021년 9월에 머물러 있습니다. 특히 RLHF 후속 학습을 거치면서 정답 확신도 보정 능력이 오히려 떨어져, 틀린 답을 내놓으면서도 매우 확신에 찬 태도를 보이는 현상이 새로운 문제로 지적되었습니다.

왜 중요한가

우리는 GPT-4의 등장이 생성형 AI를 단순한 신기한 대화형 장난감에서 실질적인 산업 인프라로 격상시킨 사건이라고 봅니다.

사용자와 개발자 관점에서 가치는 분명합니다. 단순한 잡담에서는 차이를 느끼기 어렵지만, 복잡한 비즈니스 로직, 장문의 코드 작성, 다단계 추론이 필요한 순간 진가가 드러납니다. 월 20달러의 유료 플랜을 결제하고 사용해 볼 이유는 충분하며, 시스템 메시지 제어를 통해 맞춤형 AI 서비스를 구축하려는 개발자들에게는 강력한 도구가 생겼습니다.

산업 전반에는 거대한 진입장벽이 세워졌습니다. 애저 인프라 기반에서 초거대 모델의 학습 성능을 사전에 완벽히 예측하고 통제했다는 사실은 경쟁사인 구글과 앤트로픽에 상당한 압박으로 작용할 수밖에 없습니다.

이미지 기능을 섣불리 열지 않고 6개월간 전문가 검증을 거쳐 규제 위험을 선제 차단한 전략은 영리해 보입니다. 다만 정확도가 40% 개선된 탓에, 모델이 그럴싸하게 지어낸 치명적인 거짓말을 사용자가 걸러내기 훨씬 더 어려워졌다는 역설적인 위험은 여전히 경계해야 합니다.