생성된 단어도 스스로 고친다, 새 이산 확산 모델 'GIDD' 공개

현재 주류 거대언어모델은 왼쪽에서 오른쪽으로 다음 단어를 차례대로 예측하는 방식으로 글을 씁니다. 하지만 이 방식은 이미 뱉어낸 단어를 다시 주워 담을 수 없다는 치명적인 한계가 있습니다. 초반에 헛소리를 시작하면 끝까지 그럴듯하게 둘러대야만 합니다.

이를 극복하기 위해 텍스트 이산 확산 모델이 대안으로 떠올랐지만, 가장 널리 쓰이던 마스크 확산 역시 빈칸을 채우고 나면 수정이 불가능해 똑같은 문제에 부딪혔습니다.

연구진은 최근 아카이브(arXiv)를 통해 일반화된 보간 이산 확산 프레임워크인 'GIDD'를 공개했습니다. 마스크 확산을 임의의 노이즈 추가 과정으로 확장해 모델이 스스로 실수를 고칠 수 있는 길을 열었습니다.

마스킹과 균일 노이즈를 섞어 퇴고 공간을 만들다

기존 마스크 확산이 단어를 수정하지 못했던 이유는 노이즈를 주는 방식이 마스킹 하나로 지나치게 단순했기 때문입니다.

GIDD는 노이즈 추가 설계를 훨씬 유연하게 일반화했습니다. 연구진은 빈칸을 만드는 마스킹과 무작위 토큰을 섞는 균일 노이즈를 결합한 하이브리드 방식을 채택했습니다.

단어를 가리는 것에 그치지 않고 잘못된 노이즈 토큰을 함께 던져줌으로써, 모델이 복원 과정에서 틀린 단어를 찾아내 올바른 단어로 고쳐 쓰도록 유도한 것입니다. 연구자인 Dimitri von Rütte 역시 소셜미디어를 통해 GIDD가 마스크 확산을 임의의 보간 과정으로 확장한 모델임을 강조했습니다.

같은 연산량에서 최고 성능과 자기 수정 달성

기능뿐 아니라 실제 생성 품질에서도 눈에 띄는 결과를 냈습니다.

연구진은 새로운 확산 증거 하한(ELBO)을 도출해, 동일한 컴퓨팅 자원을 투입한 조건에서 확산 언어 모델링 분야 최고 수준의 성능을 기록했다고 밝혔습니다.

하이브리드 노이즈 접근법 덕분에 텍스트 품질이 개선된 것은 물론, 기존 자기회귀 모델이 취약했던 생성 단어 자가 수정 능력을 성공적으로 입증했습니다. 연구에 쓰인 코드 역시 공개된 상태입니다.

왜 중요한가

지금의 생성 AI는 환각과 연쇄적인 생성 오류를 잡기 위해 외부에서 생각 사슬(CoT)을 돌리거나 탐색 알고리즘을 덧붙이는 식의 우회로를 쓰고 있습니다. 이 과정에서 추론 비용이 눈덩이처럼 불어납니다.

우리가 보기에 GIDD의 강점은 복잡한 외부 장치 없이 모델 자체의 생성 메커니즘 안에서 자기 수정 기능을 구현했다는 점입니다. 텍스트를 디노이징하며 깎아 나가는 과정에서 스스로 실수를 바로잡을 수 있다면 오류 누적 문제는 크게 줄어듭니다.

물론 아직은 기초 연구 단계인 만큼 당장 상용 LLM을 대체하긴 어렵습니다. 하지만 자기회귀 모델 일색인 언어 모델 생태계에서 확산 모델만의 확실한 존재 이유를 보여준 의미 있는 연구라고 판단됩니다.