메타, 생성형 AI로 추천 시스템 개편: 사용자 의도 예측 연구 공개

인스타그램이나 스레드 피드를 내릴 때마다 수십억 개의 콘텐츠 중 무엇을 보여줄지 결정하는 추천 시스템은 막대한 서버 비용을 소모합니다.

그동안 업계 표준은 사용자와 콘텐츠를 벡터로 변환해 유사도를 일일이 대조하는 밀집 검색(Dense Retrieval) 방식이었습니다. 하지만 아이템 수가 늘어날수록 저장 공간과 연산량이 기하급수적으로 증가하는 문제가 있었습니다. 최근 Meta 연구진이 공개한 두 편의 논문은 이를 생성형 AI의 다음 토큰 예측 문제로 전환하는 새로운 해법을 제시했습니다.

검색 대신 다음에 올 아이템을 생성하다

생성형 검색은 데이터베이스를 일일이 뒤지는 대신, 사용자의 이전 행동 흐름을 보고 다음에 소비할 아이템을 곧바로 예측합니다.

이 시스템의 핵심은 아이템의 속성과 설명을 바탕으로 고유한 맥락 정보를 담은 시맨틱 ID(Semantic ID)를 부여하는 것입니다. TIGER와 같은 기존 구조처럼 인코더가 각 아이템의 시맨틱 ID를 생성해 저장합니다.

그 뒤 트랜스포머 모델이 사용자가 거쳐온 시맨틱 ID 목록을 입력받아 다음에 올 시맨틱 ID를 출력합니다. 전체 아이템 풀을 전수 조사할 필요가 없으므로 카탈로그가 아무리 커져도 추론 및 저장 비용이 일정하게 유지됩니다. 또한 텍스트 생성 모델처럼 온도를 조절해 추천의 다양성을 손쉽게 바꿀 수 있습니다.

콜드 스타트를 잡는 LIGER와 취향을 읽는 Mender

하지만 생성형 검색만 쓰면 치명적인 약점이 생깁니다. 학습 데이터에 과적합되기 쉬워 신규 등록 상품이나 신규 사용자를 처리하지 못하는 콜드 스타트 문제입니다.

Meta는 이를 해결하기 위해 하이브리드 추천 모델인 LIGER를 개발했습니다. 학습 단계에서는 유사도 점수와 다음 토큰 예측 목표를 동시에 활용하고, 추론 단계에서는 생성 메커니즘으로 후보군을 뽑은 뒤 신규 아이템을 끼워 넣어 임베딩 기반으로 최종 순위를 매깁니다.

또 다른 논문에서는 멀티모달 선호 판별기인 Mender를 선보였습니다. 사용자가 리뷰에서 칭찬하거나 불만을 표한 텍스트를 대규모 언어 모델이 분석해 카테고리별 선호도로 요약합니다. 메인 추천 모델은 과거 행동 기록과 이 요약된 선호도를 함께 반영해 다음 시맨틱 ID를 예측합니다.

왜 중요한가

일반 사용자 입장에서는 단순 클릭 패턴만 반복해 보여주는 피드에서 벗어나, 리뷰나 피드백에 남긴 세밀한 의도까지 반영된 추천을 체감할 수 있게 됩니다.

추천 및 검색 기술 업계 전반에는 거대한 구조적 전환을 예고합니다. 지난 수년간 추천 인프라는 대규모 벡터 데이터베이스를 최적화하는 데 집중되어 있었습니다. 하지만 생성형 검색이 대규모 서비스에서 입증된다면, 아이템 증가에 따른 인프라 비용 부담을 획기적으로 낮추는 새로운 표준이 될 수 있습니다.

우리는 Meta가 순수 생성 모델만 고집하지 않고 LIGER처럼 기존 밀집 검색을 결합한 점이 매우 현실적인 선택이라고 봅니다. 신규 콘텐츠 노출을 보장하지 못하는 추천 엔진은 상업 플랫폼에서 살아남을 수 없기 때문입니다. 다만 밀리초 단위로 수억 건의 요청을 처리해야 하는 실시간 광고 및 피드 환경에서 시맨틱 ID 체계를 유지하고 LLM의 지연 시간을 얼마나 통제할 수 있을지가 상용화의 관건이 될 것으로 보입니다.