OpenAI, GPT-4.1 프롬프트 가이드 공개: 3가지 지침으로 에이전트 성능 20% 개선

AI 에이전트를 만들어 돌려봤더니 코드 한 줄 고쳐놓고 바로 사용자에게 어떻게 할지 되묻는 바람에 답답했던 경험이 있을 것이다.

OpenAI는 GPT-4.1 모델군을 위한 공식 프롬프트 가이드를 내놓았다. 핵심은 GPT-4.1이 GPT-4o에 비해 지시사항을 훨씬 더 문자 그대로 엄격하게 따른다는 점이다. 모델이 알아서 사용자의 의도를 짐작하는 경향이 줄어든 대신 제어 가능성은 크게 높아졌으며, 기존 방식의 모호한 프롬프트는 수정이 불가피해졌다.

챗봇을 주도적 에이전트로 바꾸는 3가지 지침

에이전트 환경에서 GPT-4.1의 성능을 끌어올리기 위해 OpenAI는 시스템 프롬프트에 세 가지 필수 지침을 넣으라고 권장한다.

첫 번째는 끈기 있는 실행이다. 현재 다중 턴 작업 중임을 상기시키고, 문제가 완전히 해결되기 전에는 사용자에게 주도권을 넘기지 말고 작업을 계속 이어가도록 못 박아야 한다.

두 번째는 도구 호출의 강제다. 파일 내용이나 코드베이스 구조가 불확실할 때는 절대 추측하거나 지어내지 말고 반드시 도구를 사용해 확인하도록 지시한다.

세 번째는 명시적인 계획과 반성이다. 단순히 도구만 연달아 호출하지 말고, 호출 전후로 텍스트를 통해 계획을 세우고 이전 결과를 꼼꼼히 점검하게 만드는 것이다.

OpenAI의 내부 테스트 결과, 이 세 가지 지침을 추가한 것만으로 소프트웨어 엔지니어링 벤치마크인 SWE-bench Verified 점수가 20% 가까이 상승했다. 수동적인 챗봇 형태에서 벗어나 주도적으로 문제를 해결하는 자율 에이전트로 성격이 완전히 달라진다는 설명이다.

수동 스키마 주입 대신 공식 도구 규격과 생각 유도

개발자가 즉시 참고할 만한 구체적인 엔지니어링 팁도 함께 공개됐다.

우선 함수 스키마를 시스템 프롬프트에 텍스트로 직접 밀어 넣고 파서를 따로 짜던 관행을 버려야 한다. 공식 API의 tools 파라미터 규격을 그대로 사용하는 것만으로도 오류가 줄어들어 SWE-bench Verified 통과율이 2% 올랐다.

또한 생각 유도의 효과도 입증됐다. GPT-4.1은 내부에 숨겨진 사고 사슬을 가진 추론 전용 모델이 아니지만, 도구 호출 사이에 계획을 밖으로 꺼내 생각하도록 유도하자 통과율이 추가로 4% 더 높아졌다. OpenAI의 실전 프롬프트에서는 충분한 테스트 부재가 실패의 가장 큰 원인이라고 강조하며 지속적인 검증을 요구했고, 결국 비추론 모델 최고 수준인 55%의 해결률을 달성했다.

왜 중요한가

개발자 입장에서 이번 가이드는 모호했던 프롬프트 엔지니어링의 기준을 명확히 세워준다. GPT-4.1은 통제력이 매우 뛰어나기 때문에, 모델이 엉뚱한 행동을 하더라도 복잡한 편법 대신 원하는 바를 단호하고 명확한 한 문장으로 지시하면 곧바로 방향을 바로잡는다.

업계 관점에서도 값비싼 추론 모델 없이 일반 프런티어 모델만으로 에이전트 성능을 끌어올릴 수 있는 현실적인 표준을 제시했다. 엄격한 행동 규칙과 도구 호출 강제, 텍스트 기반 계획을 결합하는 것만으로도 작업 완료율을 극적으로 높일 수 있음을 보여줬다.

우리는 OpenAI의 이러한 접근법이 추가 연산 비용 없이 모델 잠재력을 극대화했다는 점에서 매우 영리하다고 본다. 다만 지시를 지나치게 문자 그대로 따르기 때문에, 개발자가 설계한 시스템 프롬프트에 사소한 논리적 결함이라도 있다면 모델이 이를 의심하지 않고 잘못된 방향으로 끝까지 밀고 나갈 위험도 함께 안고 있다.