포에틱, '메타 시스템' 공개…미세조정 없이 GPT-5.5 코딩 벤치마크 93.9% SOTA

프론티어 AI 모델의 코딩 능력을 한 단계 끌어올리려면 수많은 비용을 들여 사후 학습을 하거나 미세조정을 거치는 것이 당연한 수순으로 여겨졌습니다. 하지만 모델 내부 가중치를 전혀 건드리지 않고, 외부 실행 환경을 똑똑하게 짜는 것만으로 역대 최고 기록을 갈아치운 사례가 나왔습니다.

AI 스타트업 포에틱(Poetiq)은 자체 개발한 '메타 시스템(Meta-System)'의 성능 평가 결과를 공개했습니다. LLM의 데이터 오염을 방지하기 위해 엄격하게 설계된 C++ 기반 벤치마크인 LiveCodeBench Pro(25Q2)에서, 포에틱의 프레임워크를 적용한 GPT-5.5가 93.9%의 정확도를 기록하며 새로운 SOTA에 올랐습니다.

내부 가중치 접근이나 미세조정 과정은 일절 없었습니다. 그저 시중에 공개된 일반 API 호출만을 활용해 얻어낸 수치입니다.

모델이 스스로 자기 발판을 짜다

포에틱의 핵심 기술은 '재귀적 자기 개선'입니다. 사람이 일일이 프롬프트를 짜거나 파이프라인을 구축하지 않고, 메타 시스템이 메모리 한계와 실행 시간 제약을 고려해 최적의 테스트 하니스(실행 틀)를 바닥부터 스스로 생성하고 다듬습니다.

처음 이 하니스를 최적화할 때 사용된 모델은 구글의 Gemini 3.1 Pro뿐이었습니다. 하지만 이 하니스를 거치자 Gemini 3.1 Pro의 정확도는 78.6%에서 90.9%로 무려 12.3%포인트 급등했습니다. 이는 아직 API로 풀리지 않은 구글의 최상위 모델 Gemini 3 Deep Think의 88.8%마저 넘어선 수치입니다.

진짜 강점은 모델 범용성에 있습니다. 제미나이에 맞춰 최적화된 하니스를 수정 없이 GPT-5.5에 그대로 적용하자, 기본 모델 점수 89.6%가 93.9%로 껑충 뛰었습니다. 특히 가장 까다로운 Hard 난이도 문제 해결률은 50.0%에서 75.0%로 대폭 상승했습니다.

경량 모델에서도 이 같은 반전은 이어졌습니다. Gemini 3 Flash는 72.3%에서 82.3%로 10%포인트 상승하며 단독 구동된 Claude Opus 4.7(80.5%)과 GPT 5.2 High를 앞질렀습니다. 오픈 모델인 Kimi K2.6은 30%, 네모트론(Nemotron) 역시 12.8%의 개선을 보였습니다.

놀라운 수치 뒤따른 '실체 없음' 논란

하지만 벤치마크의 화려한 숫자 뒤편에서, 오픈소스 및 개발자 커뮤니티의 반응은 마냥 우호적이지만은 않습니다.

구글과 딥마인드 출신 엔지니어들이 뭉쳐 2025년 11월 스텔스 상태를 벗어난 포에틱은 ARC-AGI와 HLE 벤치마크에서도 유사한 성과를 발표해 왔습니다. 하지만 여전히 일반 사용자가 직접 써볼 수 있는 도구는 전무합니다.

레딧 등 커뮤니티에서는 대기자 명단에 등록해도 기술 자랑 메일만 올 뿐 실제 프로덕트가 전혀 공개되지 않는다며 '베이퍼웨어(실체 없는 제품)'라는 비판이 쏟아지고 있습니다. 포에틱 측은 소수의 초기 엔터프라이즈 고객과 협력 중이라고 밝혔으나, 외부 독립 기관에 의한 공식 검증은 이뤄지지 않은 상태입니다.

왜 중요한가

상용화 속도에 대한 불신을 걷어내고 보면, 모델 외부의 오케스트레이션 설계만으로도 엄청난 지능 향상을 이끌어낼 수 있음을 증명했다는 점에서 의미가 큽니다.

그동안 개발자들은 성능 향상을 위해 특정 모델 전용 파인튜닝에 매달려 왔습니다. 하지만 표준 API 위에서 돌아가는 지능형 하니스가 다양한 모델에 두루 적용될 수 있다면, 값비싼 미세조정 부담을 덜고 경량 모델로 플래그십 수준의 개발 생산성을 내는 길이 열립니다. 포에틱 하니스를 씌운 GPT-5.5와 단독 Claude Opus 4.7 간의 13%포인트 격차는 결코 단순한 오차 범위로 치부할 수 없습니다.

그러나 지나친 낙관은 경계해야 합니다. 포에틱은 이 정도의 정답률을 얻기 위해 API를 몇 번이나 재귀 호출했는지, 토큰 비용과 지연 시간이 얼마나 늘어났는지는 밝히지 않았습니다. 실제 소프트웨어 개발 환경에서는 몇 초 만에 끝나는 작업이 벤치마크용 무한 반복 연산 때문에 수 분씩 걸린다면 생산성 도구로서의 가치는 떨어질 수밖에 없습니다. 누구나 직접 검증할 수 있는 정식 제품이 나오기 전까지는 냉정한 시선으로 지켜볼 필요가 있습니다.