레인드롭, AI 에이전트 결함 감지 '시그널스 2.0' 공개…비용 GPT-5.6의 1600분의 1

프로덕션 환경에서 AI 에이전트를 운영해 본 팀이라면 누구나 겪는 골칫거리가 있습니다. 에이전트가 특정 도구 호출에 세 번 연속 실패해 타임아웃이 났는데도, 사용자에게는 태연하게 "처리가 완료되었습니다"라고 거짓 보고를 올리는 식의 문제입니다.

이런 오류를 잡아내는 일은 생각보다 까다로웠습니다. 수십만 토큰에 달하는 로그 전체를 프론티어 LLM에 일일이 넣어 검사하자니 비용이 감당되지 않고, 작은 모델을 쓰자니 멀티턴 대화와 서브 에이전트가 얽힌 복잡한 맥락을 제대로 짚어내지 못했기 때문입니다.

AI 모니터링 플랫폼 Raindrop은 8월 11일, 새로운 모델 파이프라인 rd-signal-2 기반의 Signals 2.0을 출시했습니다. 대규모 프로덕션 트레이스에서 특정 에이전트 오동작을 감지하는 바이너리 분류기를 구축해 주는 시스템입니다.

수치가 인상적입니다. Raindrop에 따르면 이 모델은 GPT-5.6 Sol xhigh 수준의 정확도에 근접하면서도 비용은 1600분의 1에 불과하며, GPT-5.6 Luna xhigh보다도 260배 저렴합니다. 분류 중앙 지연 시간은 100밀리초 수준이며, 현재 인프라에서 매월 200억 개 이상의 트레이스를 평가하고 있습니다. 모든 기존 고객에게 추가 비용 없이 제공됩니다.

런타임에는 코드 실행, 추론은 빌드 단계로

비용과 속도를 동시에 잡은 비결은 추론의 시점을 런타임에서 빌드 타임으로 옮긴 데 있습니다.

매번 거대 모델을 돌려 로그 전체를 읽는 대신, rd-signal-2는 분류기를 만드는 시점에 트레이스를 학습해 필요한 맥락만 정확히 추출하는 결정론적 코드를 직접 작성합니다.

예컨대 앞서 언급한 반복 호출 실패의 경우, 생성된 코드가 먼저 동일한 인자로 3회 이상 실패했는지를 규칙 기반으로 확인합니다. 조건에 맞지 않으면 모델을 아예 호출하지 않고 즉시 정상으로 처리합니다.

판단이 모호한 소수의 후보군만 정제된 핵심 맥락과 함께 전용 분류 헤드 및 자체 경량 추론 모델로 전달됩니다. 이 생성 코드는 외부 인터넷 접속이 차단된 격리 샌드박스에서 실행되며, 헬스케어 등 엄격한 보안이 필요한 환경을 위해 데이터 무보관(ZDR)도 지원합니다.

왜 중요한가

Signals 2.0이 보여준 가장 똑똑한 접근은 에이전트 검증을 전부 LLM에 맡겨야 한다는 고정관념을 깼다는 점입니다.

지금까지 에이전트 모니터링은 본 서비스보다 감시용 LLM 비용이 더 많이 나오는 기형적인 구조였습니다. Raindrop은 결정론적 코드로 90% 이상의 정상 트래픽을 사실상 무료로 걸러내고, 모호한 엣지 케이스만 작은 모델로 넘기는 2단계 파이프라인을 구축해 전체 기능을 무료 기본 기능으로 묶어낼 수 있었습니다.

고객 대면 에이전트를 프로덕션에 배포 중인 개발자라면 당장 도입을 검토해 볼 가치가 충분합니다. 지연 시간이 100밀리초에 불과해 실시간 모니터링이 가능하며, MCP를 통해 코딩 에이전트나 내부 트리아지 에이전트로 손쉽게 감시 규칙을 생성할 수 있습니다.

다만 한계도 뚜렷합니다. Raindrop 자체 실험에서도 동일한 실패 동작을 두고 4가지 문장으로 정의를 바꿨을 때 매칭률이 0.9%에서 4.6%까지 요동쳤으며, 한 변형이 잡은 로그의 67%는 다른 변형에서 기각되었습니다. 모델이 아무리 싸고 빨라져도, '무엇을 실패로 볼 것인가'라는 사람 간의 엄밀한 정의가 선행되지 않으면 오탐과 누락을 피하기 어렵습니다.