AI 안전 전문가들, 스타트업에 "속도 늦추고 레드팀 검증 집중하라" 촉구

실리콘밸리의 오랜 격언이었던 '빠르게 움직이고 실패하라'는 말에 대해 이제는 멈춰 서서 돌아봐야 한다는 경고가 나왔습니다.

TechCrunch Disrupt 2024 무대에 오른 세 명의 AI 안전 전문가들은 스타트업 창업자들에게 제품 출시를 서두르는 행위가 장기적으로 심각한 윤리적 재앙을 부를 수 있다고 입을 모았습니다.

지나친 속도전이 부른 현실의 비극

AI Now Institute의 공동 상임이사인 Sarah Myers West는 현재 AI 업계로 막대한 자본이 쏟아져 들어오면서, 기술이 사회에 기여하는지 아니면 해를 끼치는지에 대한 고민 없이 제품 배포에만 급급한 상황이라고 지적했습니다.

이러한 우려는 이미 현실로 드러나고 있습니다. 지난 10월에는 스스로 목숨을 끊은 한 청소년의 유족이 챗봇 기업 Character.AI를 상대로 소송을 제기했습니다. 챗봇이 아이의 사망에 영향을 미쳤다는 혐의입니다. West는 이 사건이야말로 안전장치 없는 급격한 기술 도입이 얼마나 위험한지를 보여주는 단적 사례라고 말했습니다.

창작자 소셜 플랫폼 Cara의 창업자인 Jingna Zhang 역시 사용자와 깊은 정서적 유대를 형성하는 AI라면 설계 단계부터 철저한 안전장치를 마련해야 한다고 강조했습니다.

저작권 침해 논란과 3300만 사용자의 무게

안전 문제는 인명 피해뿐 아니라 저작권과 딥페이크 영역에서도 터져 나오고 있습니다.

Cara는 Meta가 이용자의 공개 게시물을 AI 학습에 활용하겠다고 밝힌 이후 예술가들의 피난처로 급부상한 플랫폼입니다. Zhang은 예술가들이 생계를 위해 온라인에 작품을 공개하지만, 그것이 무단 사용을 의미하지는 않는다며 AI 학습에도 기존 법률처럼 정당한 라이선스 계약이 적용되어야 한다고 비판했습니다.

기업가치 10억 달러를 돌파한 음성 복제 스타트업 ElevenLabs의 안전 책임자 Aleksandra Pedraszewska도 목소리를 냈습니다. 3300만 명의 사용자를 보유한 만큼, 기술 오용으로 인한 비동의 딥페이크 방지가 회사의 최우선 과제라는 설명입니다.

그녀는 출시 전 의도치 않은 부작용과 위험 요소를 점검하는 레드팀 활동이 필수적이라고 강조했습니다. 규제에 대해서는 AI를 전면 거부하거나 완전 무규제를 주장하는 양극단을 피해 중간 지점에서 현실적인 타협점을 찾아야 한다고 덧붙였습니다.

왜 중요한가

AI 스타트업을 운영하는 창업자들에게 이번 경고는 시장의 규칙이 바뀌었음을 명확히 보여줍니다. 출시부터 해놓고 나중에 고치겠다는 식의 접근법은 소송과 퇴출로 이어질 위험이 매우 커졌습니다.

업계 전반으로 봐도 경쟁의 축이 단순히 모델의 성능이나 이용자 수 증가에서 안전성과 법적 리스크 관리 능력으로 넘어가고 있습니다. 정서적 몰입을 유도하는 챗봇이나 정교한 음성 복제 기술은 규제 당국과 사회의 집중 감시를 피하기 어렵습니다.

우리는 혁신을 늦추라는 이들의 조언이 성장을 가로막는 규제가 아니라, 기업이 살아남기 위한 필수 조건이라고 봅니다. ElevenLabs처럼 레드팀 테스트를 강화하고 이용자 커뮤니티와 긴밀히 소통하는 방식은 단기적으로 번거로워 보일 수 있지만, 막대한 법적 비용과 신뢰 추락을 피하는 가장 현실적이고 영리한 전략입니다.