跳到正文
IFAI

AI工具

微软推 AI 纠错功能:不仅能抓幻觉,还能赶在用户看到前改写

首次发布 传播指数 37

微软在 Azure AI Studio 上线「纠错」预览功能。它能把 AI 生成内容与源材料比对,自动指出错误并在输出给用户前完成改写。不过微软也坦言,纠错机制本身依赖模型对齐,依然有出错可能。

微软推 AI 纠错功能:不仅能抓幻觉,还能赶在用户看到前改写
图:theverge.com

AI 满嘴胡话的时候,最头疼的往往是企业。把错误内容直接推给用户,轻则公关危机,重则吃官司。

很多公司之前的做法是派质检系统去挑错,挑出来再报警。现在微软想往前再推一步:不仅负责挑错,还要直接替 AI 把瞎话改过来。

微软在 Azure AI Studio 中上线了一项名为 Correction(修正)的新功能,目前处于预览阶段。它的核心任务非常直白:在最终用户看到 AI 回复之前,把里面的事实错误自动找出来并重写。

趁用户还没看到,悄悄把错改了

这项功能被整合在 Azure AI Studio 的安全工具套件里,本身就是为了拦截恶意提示词、查找模型漏洞和幻觉而设计的。

开启 Correction 后,系统会拿着客户自己提供的参考文档当底稿,去逐字逐句比对 AI 即将输出的内容。

一旦发现 AI 的回答和参考文档对不上,系统不仅会标出哪里错了、给出为什么错误的解释,还会在后台悄悄重写这段话,改完之后再展示给终端用户。

至于底层是怎么运作的,微软发言人向 TechCrunch 透露,该功能同时调动了小语言模型和大语言模型,专门用来把 AI 输出对齐到客户的基础文档上。

不过微软自己也很坦白:这项技术并不意味着彻底消灭了错误。微软在给 TechCrunch 的声明中明确表示,这种接地检测解决的不是绝对的「真实准确」,而只是让生成式 AI 的输出和客户给的依据文档保持一致。

换句话说,如果用来对齐的小模型本身理解歪了,或者修改过程出现偏差,纠错系统自己也可能跟着犯糊涂。

在同类工具里,Google 的 Vertex AI 也在走接地路线,允许企业拿 Google 搜索、自有数据以及即将上线的第三方数据集来校对 AI 输出,但微软这次强调的是直接在流水线上闭环重写。

为什么重要

我们认为,微软做这件事的切入点很聪明,直击了企业部署 AI 最怕的合规风险。

对企业和开发者来说,如果你的业务高度依赖内部制度、产品手册或法律条文,这项功能值得立刻关注并进行小范围测试。过去要把 RAG 系统的幻觉率压下去,开发者得写一大堆验证逻辑或接入复杂的工作流,现在云厂商直接在平台层提供开箱即用的拦截重写,省去了大量工程代码。

但这里潜藏的隐患也很明显。首先是延迟和成本:一个回答先生成,再由小模型和大模型双重比对,发现不对还要重新写一遍,整套流水线跑下来,首字响应时间和 token 消耗大概率会明显增加。

更关键的是,纠错模型也是 AI,它同样会看走眼。它可能把原本正确的回答改错,也可能把源文档里的语病照单全收。

看起来,云巨头们在 AI 基础设施上的较量已经从单纯比拼模型跑分,全面转向了比拼「纠错与兜底能力」。谁能让企业敢放心地把 AI 放到前台接待客户,谁才能真正把云服务的大单握在手里。

来源 (1)

  1. [1]
    theverge.com(在新标签页打开)原文theverge.com

每日 AI 内容精选