앤트로픽, 차세대 AI 벤치마크 개발에 자금 지원：사이버 공격·기만 위험 정조준

지금의 AI 벤치마크는 심각한 한계에 부딪혔습니다.

업계에서 널리 쓰이는 평가 도구 대부분은 생성형 AI가 본격화되기 전에 만들어졌습니다. 실제 이용자가 AI를 어떻게 쓰는지 반영하지 못할 뿐더러, 점수만 잘 나오고 실제로는 엉뚱한 답을 내놓는 시험용 모델을 걸러내지 못한다는 지적이 끊이지 않았습니다.

이에 Claude를 개발한 Anthropic이 직접 자금을 대며 판을 흔들고 나섰습니다. 현지 시간 7월 1일, Anthropic은 차세대 AI 모델의 고급 성능과 사회적 파급력을 측정할 새로운 벤치마크 개발을 지원하는 펀딩 프로그램을 발표했습니다.

단순 문제풀이를 넘어 사이버 공격과 핵 위협까지 측정

Anthropic은 공식 블로그를 통해 안전 관련 고품질 평가 체계는 개발이 매우 어렵고, 현재 업계 수요가 공급을 크게 앞지르고 있다고 설명했습니다. 지원서는 수시로 접수받아 심사합니다.

이번 지원에서 요구하는 평가 항목은 꽤 파격적입니다. 과학 연구 지원, 다국어 대화 능력, 편향 완화, 유해성 자가 검열 같은 과제도 포함되지만, 핵심은 고위험 영역에 쏠려 있습니다. 사이버 공격 수행 능력, 핵무기 등 대량살상무기 강화 지원, 딥페이크나 허위 조작 정보를 통한 인간 기만 능력을 측정하는 테스트가 대표적입니다.

국방과 국가 안보에 직결된 위험을 감지하기 위한 조기 경보 시스템 구축도 공언했으나 구체적인 작동 방식은 공개하지 않았습니다.

Anthropic은 전문가들이 자체 평가 방식을 설계하고 수천 명의 실제 사용자가 참여하는 대규모 테스트 플랫폼을 구상하고 있습니다. 전담 코디네이터를 채용했으며, 잠재력이 큰 프로젝트는 인수하거나 규모를 키울 방침입니다. 선정된 팀에는 자금 지원뿐 아니라 프론티어 레드팀, 파인튜닝, 신뢰 및 안전 부서 전문가와의 협업 기회가 주어집니다.

경기 출전자가 심판의 잣대를 만든다는 시선

생태계를 위한 기여라는 명분에도 불구하고, AI 시장의 핵심 플레이어인 Anthropic이 자금을 주도한다는 점에서 논란의 불씨도 남아 있습니다.

Anthropic은 지원받은 평가 프로젝트가 비영리 단체 METR 등과 함께 만든 자체 AI 안전 분류 기준에 부합해야 한다고 명시했습니다. 이는 지원자들이 Anthropic이 규정한 안전과 위험의 프레임워크를 그대로 수용해야 함을 의미합니다.

또한 핵무기나 파멸적 위기 같은 실존적 위험을 과도하게 부각하는 서사에 대한 반발도 있습니다. 많은 전문가들은 현재 AI 기술이 인류를 멸망시킬 것이라는 명확한 근거가 부족하며, 공상과학 같은 위협에만 집중하다 보면 환각 현상이나 데이터 편향 등 지금 당장 해결해야 할 규제 이슈가 가려질 수 있다고 비판합니다.

왜 중요한가

우리는 Anthropic의 이번 행보가 단순한 안전 연구 지원을 넘어선 영리한 표준 선점 전략이라고 판단합니다.

기존 성능 지표가 변별력을 잃어가는 시점에서 새로운 평가 잣대를 만드는 주체가 시장의 주도권을 쥐게 됩니다. 외부 기관을 후원하는 형태를 취하면서도 자사의 안전 기준을 업계 표준으로 자연스럽게 이식한다면, 경쟁사들을 자신들이 설계한 룰 안으로 끌어들이는 효과를 냅니다.

평가 도구를 개발하는 연구자나 스타트업 입장에서는 자금과 최고 수준의 레드팀 인프라를 활용할 수 있어 지금 바로 도전해볼 만한 기회입니다. 수익화가 어려운 평가 분야에서 이 정도 지원을 얻기는 쉽지 않습니다.

다만 중립성 문제는 여전히 숙제로 남습니다. 평가 기관의 생명은 독립성인데, 주주의 이익을 따라야 하는 영리 기업의 후원을 받으면서 객관적인 감시자 역할을 온전히 지켜낼 수 있을지는 업계가 계속해서 경계하며 지켜봐야 할 대목입니다.