Meta 探索生成式推薦系統：把內容推薦做成「下一詞預測」

如果你平時刷 Instagram 或者刷短影片，可能會覺得演算法像個不知疲倦的圖書管理員，每次你一重新整理，它就跑到幾億本書的書架裡，一本本比對哪本最合你胃口。

這就是行業裡用了十幾年的稠密檢索。但隨著內容和商品庫無限膨脹，這種挨個翻書的辦法快把伺服器吃垮了。最近 Meta 在兩篇新論文裡公佈了一種全新解法：不再去資料庫裡撈針，而是讓大模型像猜下一個詞一樣，直接「寫出」你下一步想看什麼。

把推薦變成「續寫故事」

傳統的推薦系統要給每個使用者和每個商品算出一長串數字向量。使用者發起請求時，系統要把這個向量跟整個商品庫挨個做相似度匹配。商品越多，要存的資料越大，算力賬單就越嚇人。

Meta 轉向的生成式檢索徹底換了思路。它先給每個物品生成一個帶有上下文含義的「語義 ID」（Semantic ID）。比如類似 TIGER 這樣的系統，第一階段用編碼器給物品生成唯一的語義 ID 並存下來。

第二階段，系統用 Transformer 模型把你過去互動的語義 ID 排成序列，直接預測下一個語義 ID 是什麼。這樣一來，系統根本不用去遍歷整個商品庫，儲存和推理成本幾乎不會隨著商品數量增加而暴漲。你甚至可以通過調節模型的取樣溫度，來自由控制推薦結果是保守還是更多樣。

解決冷啟動與讀懂抱怨

純生成式檢索也有個致命死穴：它太容易對訓練過的內容過擬合。一旦平臺上架了新商品或者來了新使用者，因為模型之前沒見過，就會遭遇嚴重的冷啟動問題。

為此 Meta 搞出了一個叫 LIGER 的混合系統。訓練的時候，它同時兼顧向量相似度和下一個 Token 的預測目標；實際推薦時，它先用生成機制挑出一批候選，再順手塞進幾個冷啟動新物品，最後用向量重新打分排序。這等於把生成式的高效和傳統向量檢索的抗冷啟動能力綁在了一起。

在另一篇論文裡，Meta 還拿出了一個叫 Mender 的多模態偏好辨別器。很多時候使用者的心思藏在互動裡，比如在評價裡誇了一句或者罵了一句。Mender 會先用大語言模型把這些行為翻譯成具體的偏好標籤，主推薦模型在預測下一個語義 ID 時，就會把互動歷史和這些提煉出來的偏好一起算進去。

為什麼重要

對普通使用者來說，最直觀的體驗可能是在刷資訊流時，系統不再像個只看點選率的冷血機器，它能更快理解你的真實情緒和長遠偏好，甚至能推給你一些意想不到卻很對味的內容。

對整個推薦系統和搜尋行業而言，這是一次底層的技術轉向。以前大廠做推薦，比拼的是誰的向量資料庫更大、向量檢索叢集更猛。Meta 這套做法證明，用 Transformer 預測語義 ID 可以把推理和儲存開銷壓到常數級別，這會讓很多中小團隊在面對海量商品庫時不必承擔天文數字般的硬體成本。

我們認為，Meta 這一步走得非常精明。它沒有盲目迷信純生成式架構，而是用 LIGER 把經典向量檢索當成安全氣囊，既保住了算力成本，又化解了新商品無法曝光的商業風險。不過這種方案依然有隱患，大模型生成語義 ID 的幻覺問題、ID 詞表的維護成本，以及多模態提煉偏好時的延遲，在萬億級請求的即時場景下到底能不能扛得住，還需要真實業務場景的長期檢驗。