OpenAI, GPT-4의 오류 잡아내는 'CriticGPT' 공개

인공지능의 성능이 올라갈수록 그 안에서 벌어지는 실수는 인간의 눈에 띄지 않을 만큼 정교해집니다. 사람이 문제점을 제때 짚어내지 못한다면 사람이 직접 피드백을 줘서 모델을 개선하는 기존 방식도 한계에 부딪힐 수밖에 없습니다.

OpenAI는 6월 27일, ChatGPT가 작성한 코드에서 오류를 찾아내도록 특화 훈련된 GPT-4 기반 모델 CriticGPT를 공개했습니다.

의도적으로 버그를 심어 훈련한 검수관

지금의 대규모 언어 모델은 인간 평가자가 답변 품질을 비교 평가하는 인간 피드백 기반 강화학습을 거칩니다. 하지만 모델의 추론 능력이 고도화되면서 코드에 숨겨진 치명적인 결함을 인간 트레이너가 맨눈으로 잡아내기가 점점 더 어려워졌습니다.

OpenAI는 이 문제를 풀기 위해 트레이너들이 ChatGPT 코드에 직접 버그를 주입하게 한 뒤, CriticGPT가 이를 찾아내 비평하도록 학습시켰습니다.

실험 결과는 꽤 인상적입니다. CriticGPT의 도움을 받은 인간 검수자는 도구 없이 혼자 검토한 검수자보다 60%의 경우에서 더 나은 평가 결과를 냈습니다. 또한 모델이 자연스럽게 발생시킨 실제 버그를 다룰 때도 CriticGPT의 피드백은 ChatGPT 자체 피드백보다 63% 더 높은 선호도를 기록했습니다. 불필요한 트집을 덜 잡고 존재하지 않는 문제를 지어내는 환각이 적었기 때문입니다.

현재 OpenAI는 이 모델을 내부 라벨링 파이프라인에 통합하는 작업을 진행하고 있습니다. 다만 긴 코드베이스 전반에 흩어져 있는 복합적인 오류를 잡는 데는 아직 한계가 있습니다.

왜 중요한가

우리는 CriticGPT의 등장이 인간 전담 감독 체제에서 모델 기반 상호 감독 체제로 넘어가는 변곡점을 보여준다고 봅니다. AI의 문제 해결 역량이 인간 전문가 수준에 근접할수록 인간 혼자서 품질과 안전성을 전적으로 검증하는 것은 물리적으로 불가능해집니다.

개발자 입장에서도 이런 비평 전문 모델은 단순한 코드 생성 도구보다 훨씬 매력적입니다. 코드를 빠르게 짜는 것보다 그 안에 숨어 있는 보안 취약점이나 엣지 케이스를 찾아내는 것이 훨씬 많은 시간과 비용을 소모하기 때문입니다.

하지만 모델로 모델을 감시하는 방식에는 분명한 함정도 따릅니다. 비평 모델 역시 환각을 일으킬 수 있으며, AI가 그럴듯하게 잘못 짚어낸 오류에 인간 전문가가 설득당해 멀쩡한 코드를 망가뜨릴 위험이 존재합니다. 결국 검수자가 AI의 비평을 무비판적으로 신뢰하지 않도록 안전장치를 설계하는 것이 상용화의 핵심 열쇠가 될 것으로 보입니다.