Midjourney 联手 NYU 发论文：教大模型别再写千篇一律的烂俗故事

让 AI 写一个「小狗去月球」的故事，你多半会得到一只被宇航员遗忘在月球基地的宠物狗，或者一个狗星球的陈词滥调。不管你换多少次提示词，大语言模型端上来的故事总带着一股熟悉的「AI 味」。

以画画闻名的 Midjourney 最近把手伸向了纯文本领域。在 2024 年夏末被曝光正在自研计算与 AI 硬件之后，Midjourney 这周联手纽约大学的机器学习专家在 Hugging Face 上发布了一项新研究，试图解决大模型在创意写作时越写越同质化的毛病。

为什么现在的 AI 讲故事都一个味儿

大模型写不出好故事，病根其实出在后训练阶段。

在写代码或做事实问答时，模型的目标是寻找唯一的最优解。但创意写作本质上是高度开放的，一个开头本该有成千上万种走向。可是现有的对齐技术倾向于讨好大众偏好，指令微调为了保证安全与通顺，又磨平了文字的棱角。

平时大家习惯在调用模型时调高采样温度来增加随机性，但这只是在推理阶段撞大运，模型底子里学到的套路并没有改变。久而久之，AI 故事就集体陷入了可以预测的走向，缺乏出人意料的深度。

挑出那些冷门却精彩的回答

为了打破这种死板的循环，研究团队提出了两项改进方案，分别叫做多样化直接偏好优化 DDPO 和多样化优势比偏好优化 DORPO。

这两套方法的核心是在训练过程中引入偏离度指标。简单来说，系统在同一个写作题目下会生成多个候选故事，并自动计算它们之间的差异。

如果某个回答走了一条极为罕见的剧情路线，同时逻辑和文笔又维持在很高水准，算法就会在训练中给它赋予更高的权重。这样一来，模型就能在保持可读性的同时，学会像人类作家那样主动探索不同的角色设定、背景和冲突。

为了验证效果，研究团队拿 Reddit 上著名的创意写作社区 r/writingPrompts 作为训练数据集，通过 LoRA 技术分别对 Meta 的 Llama-3.1-8B 和 Mistral 的 Mistral-7B-v0.3 进行了微调与偏好对齐测试。

为什么重要

对于内容创作者和编剧来说，这项研究切中了当前生成式文本最大的痛点。大家早就厌倦了四平八稳的公文体和套路故事，如果这套后训练方法被开源社区或写作工具采纳，普通作者将能真正获得一个具有头脑风暴能力、能提供意外视角的协作搭子，而不是一台只会扩写套路的复读机。

从行业角度看，这表明除了堆砌参数、追逐多模态或复杂推理之外，经典的纯文本 Transformer 模型在认知和表达上依然有很大的挖掘空间。更值得玩味的是 Midjourney 本身，这家在 Discord 上坐拥近 2000 万用户的图像生成巨头，先是做硬件，现在又做文本后训练算法，我们认为它大概率不会止步于当一个文生图服务商。无论是未来推出自己的端到端原生多模态大模型，还是给自家生图工具配一个懂叙事的文本核心，看起来都只是时间问题。

不过这项技术也有它的现实门槛。偏离度算法非常依赖对文本质量与多样性的精准平衡，如果筛选标准稍有偏差，模型很容易把逻辑混乱当成别出心裁，最终写出荒诞脱节的内容。如何在大规模工程落地中稳住连贯性与创意的天平，仍有待行业进一步验证。