오픈AI, 도메인 특화 모델 위한 '강화 미세조정' 연구 프로그램 확대

법률 검토나 의료 진단, 금융 분석처럼 고도의 전문성이 필요한 분야에서 기존 LLM은 종종 논리적 오류를 범하곤 했습니다.

전통적인 지도 미세조정(SFT)은 AI에게 전문가처럼 말하는 법을 흉내 내게 할 수는 있어도, 전문가처럼 단계별로 추론하는 법을 가르치기는 어려웠습니다.

OpenAI가 이를 해결하기 위해 '강화 미세조정 연구 프로그램(Reinforcement Fine-Tuning Research Program)'을 확대한다고 밝혔습니다. 개발자와 엔지니어가 특정 분야의 복잡한 작업에 특화된 고성능 전문가 모델을 만들 수 있도록 지원하는 프로그램입니다.

정답 데이터를 통한 평가로 추론 논리를 강화

이번에 제시된 RFT(Reinforcement Fine-Tuning)는 기존의 미세조정 방식과 차별화된 새로운 모델 맞춤화 기법입니다.

개발자는 수십 개에서 수천 개 수준의 고품질 과제와 함께 모범 답안을 제공하면 됩니다.

시스템은 제공된 답안을 기준으로 모델의 답변을 채점하고 피드백을 부여합니다. 이를 통해 모델은 유사한 문제를 만났을 때 올바른 추론 경로를 강화하며, 해당 분야에서의 정확도를 크게 끌어올립니다.

OpenAI는 현재 법률, 보험, 의료, 금융, 엔지니어링 분야에서 유의미한 성과를 확인했다고 설명했습니다.

대다수 전문가가 인정할 수 있는 객관적인 정답이 존재하는 과제일수록 이 기술의 효과가 극대화됩니다.

2025년 초 공식 출시 앞두고 알파 테스터 모집

이번 프로그램은 연구 기관, 대학, 기업을 대상으로 지원서를 받고 있습니다.

전문가가 직접 수행해야 했던 좁고 복잡한 작업을 AI로 보조하고자 하는 조직이 주요 대상입니다.

선정된 파트너는 RFT API의 알파 버전을 미리 제공받아 실제 도메인 작업에 테스트해 볼 수 있습니다.

참여 조직은 API 개선을 위한 피드백을 제공해야 하며, OpenAI는 모델 전반의 성능 향상을 위해 자사 데이터셋을 공유할 의향이 있는 조직과의 협력을 원하고 있습니다.

선발 인원은 제한되어 있으며, OpenAI는 2025년 초에 RFT 기능을 일반에 정식 공개할 계획입니다.

왜 중요한가

우리는 이번 RFT 프로그램이 기업의 도메인 특화 AI 도입 장벽을 크게 낮출 것으로 봅니다.

그동안 전문가 수준의 논리력을 갖춘 모델을 만들려면 대규모 지도 학습 데이터를 구축하거나 독자적인 강화학습 파이프라인을 운영해야 해 막대한 비용이 들었습니다.

수십 개에서 수천 개라는 비교적 적은 양의 검증된 정답 데이터만으로 모델의 추론 능력을 교정할 수 있다면, 전문 직군을 보유한 중소 조직도 현실적인 비용으로 자체 AI를 튜닝할 수 있게 됩니다.

OpenAI 입장에서도 상당히 영리한 행보입니다. 앞선 추론 강화 기술을 빠르게 상용화해 기업용 시장에서의 기술적 해자를 굳히는 동시에, 웹에서 긁어모을 수 없는 최고급 전문가 데이터를 합법적으로 확보할 수 있는 통로를 열었기 때문입니다.

다만 이 방식은 명확한 정답이 존재하는 영역에만 효과를 발휘합니다. 창작이나 주관적 판단이 중요한 기획 영역에는 큰 도움이 되지 않으므로, 도입하려는 업무의 성격을 명확히 구분해야 합니다.