구글, 강화학습 로봇 23대로 2년간 쓰레기 분리수거… 정확도 84% 달성

사무실 쓰레기통 앞에서 종이컵과 플라스틱 병을 어디에 넣어야 할지 헷갈려 아무 통에나 던져 넣은 경험은 누구나 있을 것입니다. 구글은 이 문제를 해결하기 위해 스스로 학습하는 로봇 부대를 사옥에 투입했습니다.

구글 리서치 브레인 팀은 심층 강화학습 기반의 모바일 매니퓰레이터 로봇 23대를 실제 구글 사옥에 2년간 배치해 쓰레기 분리수거를 맡긴 대규모 실험 결과를 공개했습니다.

사무실을 순찰하는 분리수거 로봇

이 로봇들의 주요 임무는 사옥 복도를 돌아다니며 재활용, 퇴비화, 일반 쓰레기통이 모여 있는 쓰레기 수거 구역을 찾는 것입니다.

수거 구역에 도착한 로봇은 잘못 버려진 물건을 찾아내 알맞은 통으로 옮겨 담습니다. 캔과 플라스틱 병은 재활용 통에, 판지 용기와 종이컵은 퇴비화 통에 넣고, 나머지는 매립용 쓰레기통으로 분류하는 방식입니다.

말은 쉬워 보이지만, 로봇에게는 엄청난 난제입니다. 사람들이 버린 쓰레기는 제각기 찌그러져 있거나 오염되어 있어 모양이 일정하지 않기 때문에, 물건을 인식하고 집어 올리는 것 자체가 기술적으로 매우 까다롭습니다.

구글은 기존 강화학습 프레임워크인 QT-Opt를 기반으로 훈련을 진행했습니다. 먼저 아주 단순한 규칙 기반 정책으로 기초 데이터를 쌓은 뒤, 시뮬레이션 환경에서 RetinaGAN 기술을 적용해 가상 이미지를 현실처럼 변환하며 기본 분리 기술을 학습시켰습니다.

로봇 전용 교실에서 진행된 54만 번의 반복 훈련

실제 사무실에서만 학습을 진행하면 날마다 나오는 쓰레기양이 달라 데이터 수집 속도가 떨어집니다. 구글은 이 병목을 해결하기 위해 별도의 로봇 교실을 만들었습니다.

이 교실 안에서는 로봇 20대가 대표적인 쓰레기통 세트를 두고 끊임없이 집어 올리는 연습을 진행해 54만 회의 시도를 기록했습니다. 이와 동시에 다른 로봇들은 3개 사옥의 30개 수거 구역에서 3만 2,500회의 실제 배치 데이터를 쌓았습니다.

240가지 쓰레기통 구성에서 진행된 4,800회의 평가 결과, 데이터가 쌓일수록 분리 성능은 꾸준히 향상되어 최종 시스템의 평균 분리 정확도는 약 84%를 기록했습니다.

2021년부터 2022년까지의 실제 배치 통계에 따르면, 로봇이 투입된 쓰레기통의 오염도는 무게 기준으로 40%에서 50%가량 감소했습니다.

왜 중요한가

그동안 심층 강화학습은 체스나 바둑, 비디오 게임 같은 가상 세계나 통제된 실험실에서는 뛰어난 성능을 보였지만, 변수가 넘쳐나는 현실 세계에서는 번번이 한계에 부딪혔습니다.

구글의 이번 실험은 시뮬레이션과 대규모 집중 훈련장, 그리고 현장 배치를 결합한 파이프라인을 구축하면 강화학습 기반 로봇이 예측 불가능한 사무실 환경에서도 실질적인 물리 작업을 수행할 수 있음을 증명했습니다.

당장 일반 기업이 쓰레기 분리수거를 위해 이러한 로봇 부대를 도입할 수는 없습니다. 기기 가격과 유지 관리 비용을 고려할 때 경제적 장벽이 여전히 너무 높기 때문입니다.

하지만 현실 데이터 부족을 극복하기 위해 로봇 전용 교실을 만들어 대량의 연습 데이터를 확보한 방식은 매우 영리한 접근이었다고 봅니다. 비정형 쓰레기 분류 정확도를 84%까지 끌어올린 이번 성과는 물류 창고나 대형 복합 단지 등 비정형 물체를 다뤄야 하는 산업용 로봇 자동화에 중요한 이정표가 될 것입니다.