스탠퍼드 연구: AI 보조로 짠 코드가 취약점 더 많고 맹신도 높아

최근 GitHub Copilot 같은 AI 코딩 어시스턴트에 의존해 개발하고 있다면 한 번쯤 작성 중인 코드를 점검해 볼 필요가 있습니다.

스탠퍼드 대학교 컴퓨터 과학자들의 연구 논문 ‘Do Users Write More Insecure Code with AI Assistants?’에 따르면, AI 어시스턴트를 활용하는 개발자일수록 오히려 보안 취약점이 더 많은 코드를 작성하는 경향이 있는 것으로 나타났습니다.

취약점은 늘었는데, 확신은 더 커졌다

연구진은 47명의 개발자를 대상으로 몇 가지 프롬프트를 주고 코드를 작성하게 했습니다. 참가자 중 일부에게는 AI 어시스턴트 접근 권한을 부여했고, 나머지는 직접 코드를 작성하도록 했습니다.

첫 번째 과제는 주어진 대칭키를 사용해 문자열을 암호화하고 복호화하는 파이썬 함수 두 개를 작성하는 것이었습니다.

결과는 의외였습니다. AI 도움을 받지 않은 개발자 그룹은 79%가 올바른 답을 제출한 반면, AI 지원을 받은 그룹의 정답률은 67%에 그쳤습니다.

더 큰 문제는 보안성이었습니다. AI를 사용한 그룹은 보안상 취약한 해결책을 제시할 확률이 통계적으로 유의미하게 높았으며, 단순 치환 암호 같은 취약한 방식을 사용하거나 반환값에 대한 무결성 검증을 생략하는 경우가 많았습니다. 특히 문자열 암호화와 SQL 인젝션 영역에서 취약점 발생 빈도가 두드러졌습니다.

가장 역설적인 부분은 개발자들의 근거 없는 자신감이었습니다. 연구진은 AI 어시스턴트를 사용한 참가자들이 오히려 자신이 작성한 코드가 안전하다고 굳게 믿는 경향을 보였다고 밝혔습니다.

한 참가자는 AI 도구가 도입되길 바란다며 ‘내 질문이 멍청하다고 타박하지 않는 더 나은 스택오버플로 같다’는 농담을 남기기도 했습니다.

보안 구멍 뒤에 숨은 저작권 리스크

문제는 코드 품질과 보안에 그치지 않습니다. AI가 제안한 코드를 그대로 사용하는 행위는 법적 분쟁으로 이어질 수도 있습니다.

지난달 OpenAI와 마이크로소프트는 GitHub Copilot과 관련해 소송을 당했습니다. Copilot이 수십억 줄의 공개 코드를 학습하면서 원작자에게 적절한 출처 표시를 하지 않아 개발자 권리를 침해했다는 주장입니다.

Software Freedom Conservancy의 Bradley M. Kuhn은 올해 초 Copilot이 오픈소스 라이선스 준수 의무를 고스란히 사용자에게 떠넘기고 있다고 지적했습니다. AI의 제안을 무심코 승인했다가 사용자가 저작권 침해 책임을 질 위험이 커지고 있는 셈입니다.

왜 중요한가

이 연구는 AI 코딩 도구의 가장 위험한 맹점을 정확히 짚어냈습니다. 바로 그럴싸하게 잘 돌아가지만 내부에는 심각한 보안 구멍이 뚫려 있는 코드를 만들어낸다는 점입니다. 더 나쁜 것은 개발자가 AI의 유려한 코드 스타일에 속아 비판적 검증을 멈추게 만든다는 사실입니다.

우리는 현재 단계에서 Copilot 같은 도구를 반복 작업이나 기본 틀 작성에 쓰는 것은 유용하지만, 암호화나 인증, 데이터베이스 쿼리 같은 보안 핵심 영역에 맡기는 것은 위험하다고 봅니다. 개발 편의성에 취해 보안 검증을 소홀히 하면 훗날 치명적인 침해 사고로 이어질 수 있습니다.

개발 팀과 업계 전반에는 코드 리뷰 방식의 전환이 요구됩니다. AI가 생성한 코드는 겉보기에 멀쩡해 보여 휴먼 에러보다 리뷰어의 눈을 속이기 훨씬 쉽습니다. 생성 단계에서 보안 취약점과 라이선스를 자동으로 걸러주는 안전장치가 마련되지 않는다면, 지금 얻는 개발 속도는 고스란히 미래의 기술적 부채와 법적 리스크로 돌아올 것입니다.