DeepMind 提出 OPRO：让大模型自己迭代优化 Prompt

大家为了给大语言模型调出最好的回答，常常得绞尽脑汁试各种提示词。哪怕只是加上一句「让我们一步一步思考」，答案质量就可能天差地别。

DeepMind 近期在一篇论文里提出了一个新解法，叫作 OPRO，全称是 Optimization by PROmpting。简单来说，他们不再依靠程序员写数学公式去算梯度，而是直接让大语言模型充当优化器，自己给自己改提示词。

拿自然语言当优化算子

传统的深度学习优化算法通常依赖导数和复杂的数学公式，但在很多现实场景下往往难以施展。DeepMind 的思路则是把数学问题变成文字描述。

用户不用去定义复杂的更新公式，只需要用日常大白话把任务要求描述出来，模型就会结合过去的解题表现，迭代生成新的解决方案。在一些小规模的优化问题上，大模型自己摸索出来的解法，已经能媲美甚至超越专家手工设计的启发式算法。

让元提示带着模型滚雪球

OPRO 的核心在于一套循环机制。系统首先给模型输入一段「元提示」，里面包含任务描述、几个典型案例、提示词占位符以及对应的输出结果。

大模型会基于这些内容生成一批候选答案。接着，系统给这些候选答案打出质量分数，并挑选出优秀解及其得分，重新塞回元提示里。这个循环会一直跑下去，直到模型再也提不出更好的方案为止。

由于大语言模型擅长在上下文里找规律，它们能从高分样本的历史轨迹中摸索出优化方向。研究团队用经典数学问题进行了验证，包括线性回归以及旅行商问题。虽然在大规模任务上它未必比得过专业数学算法，但在小规模测试中，模型准确抓住了优化的趋势。

更实用的地方在于自动优化提示词。针对 ChatGPT 和 PaLM 这类模型，OPRO 可以先从准确率很低的基础提示词出发，通过一轮又一轮的改写与打分，逐步试探出大幅提升任务准确率的高级提示词。

为什么重要

对于每天跟大模型打交道的开发者和提示词工程师来说，OPRO 最大的价值就是把靠运气试错的体力活变成了自动化流程。每个人都知道换几个词效果可能翻倍，但不同的模型和任务对用词的敏感度完全不同，人类很难穷尽所有组合。现在只要准备好评分标准和少量样本，就能让机器跑出针对特定场景的提示词方案，值得正在做生产级落地的团队去尝试类似思路。

对行业而言，这种方法降低了使用算法优化的门槛。传统优化需要算法工程师编写专门的求解器，而 OPRO 允许工程师用自然语言直接下达要求，比如顺带加上一句「希望方案既简短又通用」。这种把自然语言当成控制接口的方式，可能会改变未来工作流的构建模式。

我们认为，DeepMind 这一步聪明在把大模型从被测试的终端，直接变成了调优引擎本身。不过它看起来也存在明显的代价。这种不断调用模型生成、打分再生成的迭代循环，推理成本和时间消耗不会太低。对于超大规模的工程问题，纯文本上下文的承载能力也有限。它短期内更适合当作提示词离线挖掘工具，而不是替代传统求解器的万能药。