오픈AI·스라이브, 코덱스 기반 자가 개선 세무 AI 구축… 6주 만에 정확도 86% 달성

세무 신고 시즌에 회계사들을 가장 지치게 하는 것은 복잡한 계산보다 끝없는 데이터 입력입니다. 중간 이상 난도의 신고서는 엉망으로 섞인 영수증, 이메일, 손글씨 메모, 전년도 서류를 대조해 시스템에 옮겨 적는 데만 건당 8시간이 걸리기도 합니다.

OpenAI와 Thrive Holdings는 이 병목을 해결하기 위해 30개 이상의 회계법인 네트워크인 Crete를 위한 세무 에이전트 'Tax AI'를 공동 개발했습니다. 이번 시즌에만 7,000건의 1040 및 1041 세무 신고서를 처리했으며, 회계사의 업무 시간을 약 3분의 1 줄이고 처리량을 50% 끌어올렸습니다. 초안 작성 정확도는 최대 97%에 달했습니다.

하지만 이 사례에서 가장 눈여겨볼 대목은 단순한 시간 절약이 아니라, 시스템이 스스로 버그를 고치며 진화하는 자가 개선 루프를 구현했다는 점입니다.

회계사의 수정을 AI의 학습 데이터로 전환하다

출시 초기 Tax AI의 성적은 그리 좋지 못했습니다. 입력 필드의 75% 정확도를 달성한 신고서는 전체의 25%에 불과했습니다. 그러나 6주 만에 이 비율은 86%로 치솟았고, 90% 및 100% 정확도 도달 비율은 훨씬 더 가파르게 상승했습니다.

초기에는 W-2나 1099 같은 비교적 단순한 양식을 다루다가, 점차 스케줄 E(임대 부동산 소득), K-1 등 여러 서류를 대조해야 하는 고난도 작업으로 영역을 넓혀갔습니다.

비결은 엔지니어의 수동 프롬프트 수정이 아니었습니다. 회계사가 AI의 결과물을 수정할 때마다 원본 문서부터 최종 제출값까지의 전체 경로를 추적 데이터로 남겼습니다. 시스템은 반복되는 오류 패턴(예: 임대 일수 누락, 다중 부동산 혼동)을 자동으로 묶어 명확한 평가 타깃(eval)으로 변환했습니다.

Codex가 직접 원인을 분석하고 PR을 올린다

평가 데이터셋이 준비되면 Codex가 엔지니어링 작업을 이어받습니다.

Codex는 결과물만 보는 것이 아니라 코드 저장소, 스키마, 호출 경로를 함께 검사합니다. 추출 스키마에 필드가 빠진 것인지, 문서 분류가 잘못된 것인지, 세무 엔진 매핑 오류인지를 스스로 찾아냅니다.

원인을 파악한 Codex는 코드를 직접 수정한 뒤 타깃 테스트와 기존 기능 회귀 테스트를 돌려 검증하고, 인간 엔지니어가 검토할 수 있도록 풀 리퀘스트(PR)를 생성합니다. 전문가가 평소처럼 일하며 남긴 피드백이 고스란히 코드 수정으로 이어진 셈입니다.

왜 중요한가

우리는 이 사례가 버티컬 AI 에이전트의 개발 방식을 근본적으로 바꿀 청사진을 보여줬다고 봅니다. 연구실에서 완벽한 모델을 만들어 배포하려 애쓰는 대신, 실제 운영 환경의 오류를 먹고 자라는 루프를 만드는 것이 핵심입니다.

전문 분야 소프트웨어를 만드는 팀에게 시사하는 바가 큽니다. 회계, 법률, 의료처럼 도메인 지식이 중요한 영역에서는 현장 전문가의 피드백을 구조화된 평가 지표로 바꾸고, 이를 Codex 같은 코딩 에이전트에 맡겨 소프트웨어를 개선하는 파이프라인 자체가 핵심 경쟁력이 됩니다.

업계 전반으로 보면 전통적인 버티컬 SaaS 개발 모델에 큰 도전입니다. 개발자가 일일이 버그 티켓을 처리하는 방식보다, 시스템이 스스로 에러를 추적하고 PR을 올리는 속도가 비교할 수 없을 만큼 빠르기 때문입니다.

다만 이 방식은 매우 정교한 평가 인프라와 회귀 테스트가 뒷받침되어야 합니다. 그렇지 않으면 자동 생성된 코드가 다른 곳에서 치명적인 문제를 일으킬 수 있습니다. AI가 만든 PR을 인간 엔지니어가 얼마나 철저히 검증하고 통제할 수 있는지가 안정적인 운영의 열쇠가 될 것입니다.