허깅페이스의 AI 에이전트 분석: 완전 자율 에이전트 개발 중단 촉구

프롬프트 하나만 던져두면 AI가 알아서 모든 업무를 끝내주는 세상이 눈앞에 온 것처럼 보이지만, 오픈소스 AI 생태계를 이끄는 허깅페이스는 오히려 경계의 목소리를 높였습니다.

허깅페이스의 윤리 및 사회 연구팀은 'AI Agents Are Here. What Now?'라는 글을 통해 에이전트의 정의와 자율성 범위를 상세히 분석했습니다. 그러면서 업계를 향해 자체적으로 코드를 작성하고 실행하는 완전 자율형 AI 에이전트 개발을 멈춰야 한다고 강력히 권고했습니다.

자율성을 5단계로 나눈 프레임워크

최근 어디서나 에이전트라는 단어가 쓰이지만 명확한 기준은 부족했습니다. 허깅페이스는 인간이 시스템에 통제권을 얼마나 넘겨주었는지를 기준으로 자율성을 5단계로 분류했습니다.

가장 낮은 0단계는 단순 프로세서입니다. 프로그램 흐름과 기능 실행을 개발자의 코드가 100% 통제하며 모델은 텍스트 응답만 내놓습니다.

1단계는 라우터입니다. 모든 기능은 개발자가 쥐고 있지만, 모델의 판단에 따라 어떤 경로로 분기할지를 결정합니다.

2단계는 현재 상용 서비스에서 널리 쓰이는 도구 호출입니다. 실행 타이밍은 시스템이 관리하고, 모델은 어떤 도구에 어떤 인자를 넘길지 선택합니다.

3단계는 멀티스텝 에이전트입니다. 고수준의 기능만 주어지면 모델이 스스로 반복문을 돌며 하위 작업을 나누고 종료 시점을 판단합니다.

마지막 4단계가 바로 완전 자율 에이전트입니다. 모델이 사용자의 요구를 처리하기 위해 직접 새로운 코드를 짜고 이를 즉시 실행하는 수준입니다.

완전 자율 에이전트가 위험한 이유

허깅페이스가 선을 그은 지점이 바로 이 4단계입니다.

보고서에 따르면 시스템의 위험성은 자율성 수준에 비례해 급격히 증가합니다. 개발자가 시스템의 모든 행동을 미리 예측할 필요가 없다는 점은 에이전트의 가장 큰 매력이지만, 동시에 가장 큰 안전 위협이기도 합니다.

통제된 도구 범위를 벗어나 모델이 직접 코드를 작성하고 실행할 수 있게 되면, 인간이 설정해 둔 안전장치를 시스템 스스로 무력화할 수 있게 됩니다. 이로 인해 보안 취약점과 프라이버시 침해가 연쇄적으로 번지는 스노우볼 효과가 일어날 수 있습니다.

글에서는 냉장고 재고를 확인해 사용자 몰래 식료품을 자동 주문하는 식의 지나친 능동성도 지적했습니다. 허깅페이스는 위험보다 효용이 확실한 반자율 에이전트 개발에 집중해야 한다고 강조합니다.

왜 중요한가

완전 자동화를 향해 무작정 질주하던 AI 업계에 오픈소스 중심지가 차분한 제동을 걸었다는 점에서 의미가 큽니다.

수많은 기업이 인간의 개입이 전혀 필요 없는 에이전트를 마케팅 포인트로 내세우고 있지만, 허깅페이스가 제시한 5단계 분류는 시스템이 통제권을 얼마나 앗아갔는지 점검할 수 있는 유용한 기준점이 됩니다.

실제로 서비스를 개발하려는 엔지니어라면 2단계나 3단계 수준의 반자율 구조에 집중하는 것이 훨씬 안전하고 실용적입니다. 명확히 제한된 도구만 제공하고 중요한 분기점마다 사람의 승인을 거치도록 설계하는 편이 리스크를 줄이는 지름길입니다.

우리는 허깅페이스의 이번 경고가 매우 현실적이고 타당하다고 봅니다. 본질적으로 예측 불가능성을 내포한 대형 언어 모델에게 실행 권한을 무제한으로 넘기는 것은 혁신이 아니라 방관에 가깝습니다. 인간이 마지막 통제권을 쥐고 있는 구조를 유지하는 것이 지금으로서는 가장 현명한 접근입니다.