기반 모델 수정 없이 '꿈'꾸며 스스로 발전하는 Dream-RSI 공개

인공지능의 '재귀적 자아 개선'이라고 하면 대부분 모델이 자기 가중치를 직접 수정하며 지능을 끌어올리는 장면을 떠올립니다. 하지만 구글과 구글 딥마인드, 메릴랜드 대학교, 버지니아 대학교 연구진이 공개한 프로젝트는 완전히 다른 실용적인 길을 택했습니다.

논문으로 공개된 이 프레임워크의 이름은 'Dream-RSI'입니다. 가장 큰 특징은 기반 모델의 가중치나 아키텍처를 단 한 줄도 건드리지 않는다는 점입니다. 시스템이 개선하는 대상은 모델 자체가 아니라, AI 에이전트가 솔루션을 찾아 나서는 '탐색 전략'입니다.

과거의 실패 기록을 비용 없는 시뮬레이터로 활용

GPU 커널 최적화나 복잡한 수학 문제 해결처럼 긴 호흡이 필요한 작업에서 에이전트는 수천 번의 탐색 사이클을 거칩니다. 기존 방식은 규칙을 고정해 비효율적인 경로에 연산량을 낭비하거나, 새로운 탐색 전략을 평가하느라 전체 작업을 처음부터 다시 실행하며 막대한 비용을 치러야 했습니다.

Dream-RSI는 과거 작업 과정에서 기록된 '발견 트리'에 주목했습니다. 에이전트가 어떤 결정을 내렸고 실제 코드가 어떤 결과를 냈는지가 고스란히 담긴 이 트리는, 근사치가 아닌 100% 정확한 무료 시뮬레이터 역할을 합니다.

시스템은 이 기록 위에서 말 그대로 '꿈'을 꿉니다. 추가 실행 비용 없이 수천 개의 탐색 정책 후보를 과거 트리에 대입해 보며, 순서를 바꾸거나 조기에 중단했을 때의 결과를 시뮬레이션합니다. 그리고 가장 결과가 좋았던 단 하나의 정책만을 실제 환경에 배포합니다.

세계를 넓혀가는 선순환 구조

선발된 최적 정책이 실제 작업에 투입되면, 이전 정책이 도달하지 못했던 새로운 영역을 탐색하고 또 다른 발견 트리를 기록해 옵니다. 에이전트가 시뮬레이션할 수 있는 '세계'의 풀이 하나 더 늘어나는 셈입니다.

이 루프가 반복될수록 정책은 점점 더 정교해집니다. 4개 분야 9개 과제에 걸친 실험에서 Dream-RSI는 기존 방식 대비 절반 이하의 반복 횟수만으로 동등하거나 더 뛰어난 성과를 냈으며, 특히 GPU 커널 엔지니어링 영역에서 두각을 나타냈습니다.

왜 중요한가

자율 에이전트로 복잡한 시스템 엔지니어링이나 최적화를 수행하는 개발자에게 이 연구는 매우 실용적인 대안을 제시합니다. 값비싼 파운데이션 모델을 미세조정하거나 무거운 강화학습을 돌리지 않고도, 가벼운 오케스트레이션 계층을 얹어 컴퓨팅 비용을 즉각 절감할 수 있기 때문입니다.

업계 관점에서는 에이전트 성능 개선의 초점을 모델 크기에서 '탐색 효율성'으로 돌려놓았습니다. 그동안 텍스트 프롬프트나 단순 로그로 방치되던 실행 이력을 트리 구조화하여, 오프폴리시 피드백을 얻는 완벽한 시뮬레이터로 재해석한 아이디어가 돋보입니다.

우리가 보기에 이 방식의 가장 영리한 점은 불확실한 가상 세계 모델을 억지로 학습시키지 않고 실제 실행 결과를 절대적 샌드박스로 활용했다는 점입니다. 다만 한계도 분명합니다. 시뮬레이션의 범위는 오직 과거에 실제로 밟아본 경로에 갇혀 있습니다. 초기 탐색이 완전히 엉뚱한 방향으로 흘렀다면 그 왜곡된 데이터 안에서 겉돌 위험이 있으므로, 초기 탐색의 다양성을 어떻게 확보할지가 향후 상용화의 핵심 과제가 될 것으로 보입니다.