미드저니·NYU 공동 연구: LLM의 뻔한 창작 글쓰기 탈피 노린다

달에 간 강아지 이야기를 지어달라고 하면, AI는 대개 우주비행사가 두고 간 반려견이나 뻔한 우주 도시 이야기를 꺼내놓습니다. 프롬프트를 아무리 바꿔도 결과물 특유의 뻔한 전개와 기시감을 지우기 어렵습니다.

디스코드 사용자만 약 2천만 명에 달하는 이미지 생성 AI 대표 주자 미드저니가 이번에는 텍스트 모델의 창의성 연구에 뛰어들었습니다. 2024년 늦여름 독자 하드웨어 개발 소식을 알렸던 미드저니는 이번 주 뉴욕대학교 연구진과 함께 LLM의 창의적 글쓰기 역량을 높이는 연구 논문을 허깅페이스에 공개했습니다.

뻔한 이야기로 수렴하는 AI 글쓰기의 한계

코딩이나 사실 기반 질의응답에서는 모델이 가장 정확한 단 하나의 답을 찾아내야 합니다. 하지만 창작 글쓰기는 무수히 많은 전개가 가능한 열린 영역입니다.

그럼에도 기존 지시 튜닝 모델들은 늘 비슷한 줄거리와 주제로 수렴하곤 했습니다. 사후 학습 기법들이 독창성보다는 안전하고 대중적인 답변을 선호하도록 모델을 길들이기 때문입니다. 추론 시점에 온도를 높여 무작위성을 주는 방법도 모델이 학습한 근본적인 편향을 바꾸지는 못합니다.

드물지만 뛰어난 답변에 가중치를 주는 법

연구진은 이 문제를 해결하기 위해 DDPO와 DORPO라는 두 가지 선호도 최적화 확장 기법을 도입했습니다. 핵심 아이디어는 답변이 다른 결과물과 얼마나 다른지를 측정하는 편차 개념입니다.

훈련 과정에서 하나의 프롬프트에 여러 답변을 생성한 뒤 답변 간의 차이를 계산합니다. 드물고 색다른 줄거리이면서도 문맥의 완성도가 높은 답변에 더 큰 가중치를 부여해 학습시키는 방식입니다.

연구진은 레딧의 유명 창작 커뮤니티인 r/writingPrompts 데이터를 활용해 메타의 라마 3.1 8B와 미스트랄의 7B 모델을 LoRA 방식으로 파인튜닝하고 성능을 검증했습니다.

왜 중요한가

창작자와 기획자 입장에서 이번 연구는 생성형 AI의 가장 큰 약점이었던 상투성을 직접 겨냥합니다. 모델의 창의성이 사후 학습 단계에서 내재화된다면, 단순히 그럴듯한 문장을 찍어내는 수준을 넘어 실제로 신선한 줄거리와 아이디어를 제안하는 협업 파트너로 활용할 가치가 커집니다.

업계 차원에서도 멀티모달과 복잡한 추론 모델에 시선이 쏠린 상황에서, 텍스트 중심 트랜스포머의 정렬 기법만으로도 아직 끌어낼 잠재력이 많다는 점을 증명했습니다. 무엇보다 미드저니의 행보가 흥미롭습니다. 하드웨어 개발에 이어 텍스트 LLM 정렬 기술까지 확보하려는 움직임은, 미드저니가 이미지 생성 서비스에 머무르지 않고 독자적인 풀스택 창작 플랫폼을 구축하려 한다는 점을 시사합니다.

다만 편차를 지나치게 강조할 경우 참신함과 난해함의 경계가 무너져 이야기의 개연성을 해칠 위험도 존재합니다. 상업용 도구에서 다양성과 서사의 일관성을 얼마나 안정적으로 유지할 수 있을지가 상용화의 관건이 될 것입니다.