알고리즘은 정말 공정할까? 기계 판단에 내재된 '예측 가능한 노이즈' 결함

흐린 날에는 학업 성적이 우수한 지원자가 뽑힐 확률이 높고, 맑은 날에는 대외 활동이 화려한 지원자가 더 높은 점수를 받는다는 행동 연구가 있습니다. 인간의 판단은 기분과 날씨에 끊임없이 흔들리며, 경제학에서는 이를 잡음(Noise)이라고 부릅니다.

이 때문에 많은 전문가들은 사람이 아닌 알고리즘에 결정을 맡겨야 한다고 주장해 왔습니다. 하버드 비즈니스 리뷰 역시 알고리즘의 최대 장점으로 동일한 입력값에 언제나 일정한 결과를 내놓는 ‘잡음 없는(noise-free)’ 특성을 꼽았습니다. 하지만 연구자 프라카르 가네시(Prakhar Ganesh)는 이 전제가 완전히 틀렸다고 반박합니다. AI는 잡음을 없앤 것이 아니라, 학습 과정의 무작위성을 그대로 고착화해 ‘예측 가능한 잡음’으로 바꿨을 뿐이라는 것입니다.

수식은 고정되어도 답은 흔들린다

사람들이 AI에 잡음이 없다고 믿는 이유는 단순합니다. 학습을 마친 머신러닝 모델은 거대한 수학 공식과 같아서, 오늘 거절당한 입학 지원서는 내일 다시 제출해도 똑같이 거절당합니다. 이런 결정론적 성질이 잡음 없는 공정한 판단이라는 착각을 부릅니다.

하지만 모델이 만들어지는 과정은 전혀 잡음에서 자유롭지 않습니다. 가네시는 간단한 숫자 맞추기 게임으로 이를 설명합니다. 앨리스와 밥에게 마음속 숫자를 맞히게 하면서 같은 힌트와 같은 추론 규칙을 주더라도, 두 사람이 맨 처음에 던진 무작위 추측값이 다르면 최종 도달하는 답도 완전히 달라집니다.

AI의 학습 과정도 마찬가지입니다. 초기 가중치 설정부터 최적화 경로에 이르기까지 무수한 무작위 요소가 개입합니다. 모델 배포 후에는 결과가 일정하게 나올지 몰라도, 그 공식 자체가 이미 무작위 잡음의 경로를 거쳐 굳어진 결과물입니다.

이는 특정 집단을 차별하는 편향(Bias)과도 다릅니다. 편향은 사회적 편견처럼 사후 설명이라도 가능하지만, 학습 과정에서 스며든 무작위성은 어떠한 의미도 없는 단순한 방해 신호에 불과합니다.

알고리즘이 선발을 독점할 때 벌어질 일

이러한 예측 가능한 잡음이 대학 입학이나 채용 같은 중대 결정에 적용되면 현실적인 부작용이 속출합니다.

통계적 평균으로 보면 AI가 인간보다 뛰어난 결정을 내릴지 몰라도, 한 명의 개인을 완벽히 예측할 수는 없습니다. 과거의 학점이나 활동 내역만으로는 한 학생이 대학에서 어떻게 성장할지 온전히 담아낼 수 없기 때문입니다.

만약 모든 대학이 AI로 합격자를 고른다면 비슷한 평가 모델을 쓰는 대학들이 일제히 똑같은 최상위권 학생들에게만 합격증을 보내 대규모 미달 사태를 겪게 됩니다. 또한 과거 기록이 다소 부족해도 나중에 잠재력을 발휘할 학생들은 알고리즘의 기계적 잣대에 걸려 기회조차 얻지 못하게 됩니다.

왜 중요한가

채용이나 대출 심사 등 중요한 평가 시스템에 AI를 도입하려는 기업들에게 이 논의는 중요한 경고를 던집니다. 매번 똑같은 출력을 내놓는다고 해서 그 시스템이 객관적이거나 잡음이 없다는 뜻은 아닙니다. 단 한 번의 무작위 학습 경로로 굳어진 모델에 평가를 전적으로 의존하는 것은, 기분파 인사 담당자에게 전권을 쥐여주는 것만큼이나 위험할 수 있습니다.

업계 전반으로 봐도 결정론적 일관성을 공정성으로 착각해 온 관행에 균열을 냅니다. 우리가 보기에 AI는 인간의 잡음을 제거한 것이 아니라, 보이지 않는 가중치 공식 속에 영구히 박제해 둔 것에 가깝습니다. 인간의 판단에 섞인 잡음은 때때로 비전형적인 지원자에게 뜻밖의 기회가 되기도 하지만, 수학적으로 굳어진 예측 가능한 잡음은 어떠한 반전의 여지도 허용하지 않는 구조적 배제를 낳을 수 있습니다.