Midjourney 聯手 NYU 發論文：教大模型別再寫千篇一律的爛俗故事

讓 AI 寫一個「小狗去月球」的故事，你多半會得到一隻被宇航員遺忘在月球基地的寵物狗，或者一個狗星球的陳詞濫調。不管你換多少次提示詞，大語言模型端上來的故事總帶著一股熟悉的「AI 味」。

以畫畫聞名的 Midjourney 最近把手伸向了純文本領域。在 2024 年夏末被曝光正在自研計算與 AI 硬體之後，Midjourney 這週聯手紐約大學的機器學習專家在 Hugging Face 上釋出了一項新研究，試圖解決大模型在創意寫作時越寫越同質化的毛病。

為什麼現在的 AI 講故事都一個味兒

大模型寫不出好故事，病根其實出在後訓練階段。

在寫程式碼或做事實問答時，模型的目標是尋找唯一的最優解。但創意寫作本質上是高度開放的，一個開頭本該有成千上萬種走向。可是現有的對齊技術傾向於討好大眾偏好，指令微調為了保證安全與通順，又磨平了文字的稜角。

平時大家習慣在呼叫模型時調高取樣溫度來增加隨機性，但這只是在推理階段撞大運，模型底子裡學到的套路並沒有改變。久而久之，AI 故事就集體陷入了可以預測的走向，缺乏出人意料的深度。

挑出那些冷門卻精彩的回答

為了打破這種死板的迴圈，研究團隊提出了兩項改進方案，分別叫做多樣化直接偏好最佳化 DDPO 和多樣化優勢比偏好最佳化 DORPO。

這兩套方法的核心是在訓練過程中引入偏離度指標。簡單來說，系統在同一個寫作題目下會生成多個候選故事，並自動計算它們之間的差異。

如果某個回答走了一條極為罕見的劇情路線，同時邏輯和文筆又維持在很高水準，演算法就會在訓練中給它賦予更高的權重。這樣一來，模型就能在保持可讀性的同時，學會像人類作家那樣主動探索不同的角色設定、背景和衝突。

為了驗證效果，研究團隊拿 Reddit 上著名的創意寫作社群 r/writingPrompts 作為訓練資料集，通過 LoRA 技術分別對 Meta 的 Llama-3.1-8B 和 Mistral 的 Mistral-7B-v0.3 進行了微調與偏好對齊測試。

為什麼重要

對於內容創作者和編劇來說，這項研究切中了當前生成式文本最大的痛點。大家早就厭倦了四平八穩的公文體和套路故事，如果這套後訓練方法被開源社群或寫作工具採納，普通作者將能真正獲得一個具有頭腦風暴能力、能提供意外視角的協作搭子，而不是一臺只會擴寫套路的復讀機。

從行業角度看，這表明除了堆砌引數、追逐多模態或複雜推理之外，經典的純文本 Transformer 模型在認知和表達上依然有很大的挖掘空間。更值得玩味的是 Midjourney 本身，這家在 Discord 上坐擁近 2000 萬用戶的影像生成巨頭，先是做硬體，現在又做文本後訓練演算法，我們認為它大機率不會止步於當一個文生圖服務商。無論是未來推出自己的端到端原生多模態大模型，還是給自家生圖工具配一個懂敘事的文本核心，看起來都只是時間問題。

不過這項技術也有它的現實門檻。偏離度演算法非常依賴對文本質量與多樣性的精準平衡，如果篩選標準稍有偏差，模型很容易把邏輯混亂當成別出心裁，最終寫出荒誕脫節的內容。如何在大規模工程落地中穩住連貫性與創意的天平，仍有待行業進一步驗證。