딥마인드, LLM이 스스로 프롬프트를 최적화하는 OPRO 발표

대규모 언어 모델을 쓸 때 프롬프트 문구 하나에 따라 결과물이 크게 달라진다는 사실은 이미 널리 알려져 있습니다. 단순히 "단계별로 생각해보자"는 문장을 덧붙이는 것만으로도 모델의 추론 능력이 눈에 띄게 개선되곤 합니다. 하지만 어떤 표현이 가장 효과적인지 찾는 과정은 대부분 사람의 수작업에 머물러 있었습니다.

구글 딥마인드 연구진은 이러한 프롬프트 튜닝 과정을 자동화하기 위해 OPRO, 즉 Optimization by PROmpting이라는 새로운 방법론을 공개했습니다. 복잡한 수학 공식 대신 대규모 언어 모델 자체를 최적화 도구로 활용해, 인공지능이 스스로 최적의 프롬프트를 찾아내도록 만드는 방식입니다.

자연어로 정의하는 최적화

딥러닝에서 널리 쓰이는 미분 기반 최적화 알고리즘은 현실의 다양한 문제에 적용할 때 한계에 부딪히기 쉽습니다. 딥마인드는 수식으로 최적화 단계를 프로그래밍하는 대신, 해결하려는 문제를 일상 언어로 설명하는 접근법을 택했습니다.

작업의 목표와 이전 결과들을 자연어로 모델에 전달하면, 모델이 이를 바탕으로 점진적으로 더 나은 해법을 제안합니다. 소규모 최적화 실험에서 이 방식은 전문가가 정교하게 설계한 휴리스틱 알고리즘과 비슷하거나 오히려 더 뛰어난 성능을 보여주었습니다.

메타 프롬프트가 만드는 개선 루프

OPRO의 작동 원리는 일종의 피드백 반복 루프입니다. 시스템은 작업에 대한 설명, 몇 가지 예시, 과거 제안된 해법과 그에 대한 평가 점수가 담긴 '메타 프롬프트'를 모델에 입력합니다.

모델은 이 메타 프롬프트를 읽고 새로운 후보 해법을 생성합니다. 시스템이 이 후보들을 평가해 점수를 매긴 뒤, 성적이 좋은 결과물을 다시 메타 프롬프트에 추가합니다. 언어 모델의 문맥 파악 능력을 활용해 점수가 높았던 시도들의 궤적을 보여줌으로써, 명시적인 수식 없이도 모델이 스스로 정답에 가까운 방향을 찾도록 유도하는 구조입니다.

연구진은 선형 회귀나 외판원 순회 문제 같은 대표적인 수학적 최적화 과제뿐만 아니라, ChatGPT와 PaLM 같은 모델의 프롬프트를 직접 다듬는 실험도 진행했습니다. 그 결과 처음에는 정확도가 낮았던 기본 프롬프트도 반복 과정을 거치면서 작업 정확도를 극대화하는 프롬프트로 점차 진화했습니다.

왜 중요한가

매일 프롬프트를 다듬어야 하는 개발자나 엔지니어에게 OPRO는 반복적인 시행착오를 크게 줄여줄 수 있는 유용한 도구입니다. 모델마다, 그리고 작업마다 최적의 프롬프트 구조가 제각각인 상황에서 평가 기준과 데이터셋만 갖추면 기계가 알아서 최적의 문구를 탐색해주기 때문입니다.

업계 관점에서는 최적화라는 기술의 진입 장벽을 낮췄다는 의미가 있습니다. 전문 수학 지식을 바탕으로 솔버를 구현할 필요 없이, "정확도를 높이되 설명은 간결하고 범용적으로 작성하라"는 식의 일상 언어 조건만으로 최적화 작업을 제어할 수 있게 되었습니다.

우리는 딥마인드가 언어 모델의 문맥 내 패턴 인식 능력을 최적화 엔진으로 영리하게 전환했다고 봅니다. 다만 매 반복마다 모델을 호출해 평가와 생성을 거쳐야 하므로 토큰 비용과 연산 시간이 만만치 않다는 현실적인 한계도 뚜렷합니다. 실시간 연산보다는 서비스 배포 전 최적의 시스템 프롬프트를 발굴하는 오프라인 튜닝 단계에서 가장 큰 가치를 발휘할 것으로 보입니다.