哪个大模型最不爱胡说八道?智谱与 Google 幻觉率 1.3% 并列第一
Vectara 截至 2024 年 12 月 11 日的数据显示,智谱 GLM-4-9B-Chat 与 Google Gemini-2.0-Flash-Exp 以 1.3% 的幻觉率并列最低,紧随其后的是 OpenAI o1-mini(1.4%)。数据表明,轻量或专用模型在减少事实错误上完全不输超大模型。
Vectara 截至 2024 年 12 月 11 日的数据显示,智谱 GLM-4-9B-Chat 与 Google Gemini-2.0-Flash-Exp 以 1.3% 的幻觉率并列最低,紧随其后的是 OpenAI o1-mini(1.4%)。数据表明,轻量或专用模型在减少事实错误上完全不输超大模型。
Perplexity 面向 Pro 用户推出基于 OpenAI o1-mini 的 reasoning 聚焦模式测试版。该模式专门用于数学、编程与逻辑解谜,但目前尚未接入联网搜索,且受速率限制响应相对较慢。
OpenAI 宣布放宽 Plus 和 Team 用户的 o1 模型使用限制。轻量模型 o1-mini 的限额直接翻了 7 倍,从每周 50 条增加到每天 50 条;成本更高的 o1-preview 也从每周 30 条上调至每周 50 条,让付费用户能更痛快地测试推理能力。
OpenAI 自上周推出具备推理能力的 o1 模型后,开始向试图窥探其隐藏思维链的用户发送警告信甚至威胁封号。o1 在界面中只展示经二道过滤的思考总结,不少用户和安全研究员尝试用提示词注入套取真实过程,甚至输入「reasoning trace」一词就会触发违规警告。