OpenAI, o4-mini 강화 미세조정 도입… GPT-4.1 nano 파인튜닝도 지원

복잡한 추론 모델을 특정 전문 도메인에 맞게 미세 조정하는 작업이 한층 현실화되었습니다.

OpenAI 개발자 팀은 지난해 12월 프리뷰로 선보였던 강화 미세 조정(RFT) 기능을 OpenAI o4-mini에 공식 지원한다고 발표했습니다. 이와 함께 라인업 중 가장 빠르고 저렴한 모델인 GPT-4.1 nano에도 지도 미세 조정 기능을 도입했습니다.

추론 과정 자체를 훈련하는 새 방식

RFT는 생각의 연쇄(CoT) 추론과 과업별 채점 방식을 결합하여 복잡한 전문 분야에서의 모델 성능을 끌어올리는 기술입니다.

단순히 정답 데이터를 주입하는 것을 넘어 모델이 문제를 해결하는 논리적 과정을 직접 평가합니다. OpenAI는 AccordanceAI가 RFT를 활용해 세무 및 회계 분야에서 최고 수준의 성능을 내는 전문 모델을 구축했다고 소개했습니다.

심층적인 추론 대신 빠른 반응 속도와 저렴한 비용이 중요한 영역이라면, 이제 GPT-4.1 nano를 기존 지도 미세 조정 방식으로 훈련해 특정 업무 전용으로 활용할 수 있습니다.

왜 중요한가

우리는 이번 발표가 기업의 AI 맞춤화 전략을 두 가지 명확한 방향으로 정리해 주었다고 봅니다.

전문성이 필수적인 금융, 과학 연구, 세무 분야에서는 o4-mini와 RFT를 활용해 안정적인 추론형 전문가 모델을 직접 구축할 수 있게 되었습니다. 이는 프롬프트 엔지니어링만으로 해결하기 어려웠던 한계를 뛰어넘는 계기가 됩니다.

반면 가성비가 중요한 영역에서는 GPT-4.1 nano 미세 조정을 통해 단순 분류나 텍스트 추출 작업을 극히 낮은 비용으로 처리할 수 있습니다.

다만 RFT를 효과적으로 적용하려면 과업에 맞는 정교한 평가 및 채점 시스템을 기업이 직접 설계해야 합니다. 준비 작업의 난도가 높은 만큼, 초기 데이터 구축 역량이 있는 조직 중심으로 먼저 성과가 나타날 것으로 보입니다.