스탠퍼드대 연구: AI로 코딩하면 보안 취약점 늘고 맹신도 커져

AI가 개발 생산성을 몇 배로 끌어올린다는 찬사가 쏟아지고 있지만, 실제 소프트웨어 현장에는 생각보다 위험한 함정이 숨어 있었습니다.

스탠퍼드대학교 연구진은 OpenAI의 Codex(GitHub Copilot의 기반 모델)와 같은 코드 생성 AI를 사용하는 개발자들이 소프트웨어에 보안 취약점을 남길 확률이 더 높다는 연구 결과를 발표했습니다.

취약점은 늘고, 자신감은 근거 없이 커졌다

연구팀은 컴퓨터공학 전공 학부생부터 수십 년 경력의 베테랑 개발자까지 총 47명을 모집해 실험을 진행했습니다. 참가자들은 Python, JavaScript, C 언어를 사용해 보안과 직결된 프로그래밍 과제를 수행했습니다.

대조군과 비교한 결과는 우려스러웠습니다. Codex를 사용한 개발자들은 취약점이 포함된 안전하지 않은 코드를 작성할 가능성이 훨씬 높았습니다. 더 큰 문제는, 이들이 대조군 참가자들보다 자신의 코드가 안전하다고 굳게 믿었다는 점입니다.

논문 제1저자인 스탠퍼드대 박사과정 닐 페리(Neil Perry)는 코드 생성 시스템이 아직 인간 개발자를 대체할 수 없다고 잘라 말했습니다. 특히 자신이 전문성을 갖추지 못한 분야에서 AI를 쓸 때는 각별히 주의해야 하며, 익숙한 업무의 속도를 높이는 용도로 쓰더라도 결과물과 프로젝트 전체 맥락을 꼼꼼히 재검토해야 한다고 강조했습니다.

공동 저자인 메가 스리바스타바(Megha Srivastava) 역시 AI가 암호화 라이브러리의 취약한 기본 설정을 그대로 따르는 경향이 있고, 일반 개발자들은 이를 식별할 만한 보안 전문 지식이 부족하다는 점을 지적했습니다.

기본값의 함정과 저작권 문제

연구진이 AI 코딩 도구를 완전히 부정하는 것은 아닙니다. 스리바스타바는 탐색적 연구나 프로토타이핑처럼 위험도가 낮은 작업에서는 AI가 분명히 유용하며, 기업이 자체 보안 기준에 맞춘 사내 소스코드로 모델을 미세조정한다면 한층 안전한 결과물을 얻을 수 있다고 조언했습니다.

보안 문제 외에 저작권 분쟁도 여전히 해결되지 않은 숙제입니다. Codex는 공개된 수십억 줄의 코드를 학습했는데, 이 중에는 엄격한 라이선스가 걸린 코드도 포함되어 있습니다. 실제로 Copilot이 게임 퀘이크(Quake)의 소스코드나 유명 서적의 예제 코드를 그대로 출력해 논란이 되기도 했습니다.

GitHub은 지난 6월 주변 코드 150자 안팎을 대조해 일치하는 제안을 숨기는 필터를 도입했지만 역부족이었습니다. 텍사스 A&M 대학교의 팀 데이비스(Tim Davis) 교수는 필터를 켰음에도 Copilot이 자신의 저작권 코드를 라이선스 문구까지 포함해 대량으로 쏟아냈다고 밝혔습니다.

왜 중요한가

우리는 이 연구가 AI 코딩 도구가 주는 가장 위험한 부작용인 '근거 없는 확신'을 정확히 짚었다고 봅니다. AI가 그럴듯하고 매끄러운 코드를 단 몇 초 만에 제시하면, 개발자는 경계심을 풀고 '동작하는 코드'를 '안전한 코드'로 착각하기 쉽습니다.

개발자와 테크 기업 입장에서 지금은 AI에 무작정 코딩을 맡길 때가 아닙니다. 특히 주니어 개발자가 견고한 보안 습관을 익히기 전에 AI에 과도하게 의존하는 것은 경계해야 합니다. AI를 쓰더라도 초안을 작성하는 보조 도구로 한정하고, 암호화나 인증 같은 핵심 로직에는 철저한 코드 리뷰와 보안 검증을 병행해야 합니다.

GitHub이나 OpenAI 같은 공급업체들 역시 이제는 단순한 생성 속도나 문맥 길이 경쟁에서 벗어나야 합니다. 안전한 기본 설정을 강제하고 취약한 코드를 사전에 걸러내는 정교한 보안 가드레일을 구축하지 못한다면, AI 코딩 도구는 엔터프라이즈 환경에서 시한폭탄 취급을 받게 될 것입니다.