哪個大模型最不愛胡說八道?智譜與 Google 幻覺率 1.3% 並列第一
Vectara 截至 2024 年 12 月 11 日的資料顯示,智譜 GLM-4-9B-Chat 與 Google Gemini-2.0-Flash-Exp 以 1.3% 的幻覺率並列最低,緊隨其後的是 OpenAI o1-mini(1.4%)。資料表明,輕量或專用模型在減少事實錯誤上完全不輸超大模型。
Vectara 截至 2024 年 12 月 11 日的資料顯示,智譜 GLM-4-9B-Chat 與 Google Gemini-2.0-Flash-Exp 以 1.3% 的幻覺率並列最低,緊隨其後的是 OpenAI o1-mini(1.4%)。資料表明,輕量或專用模型在減少事實錯誤上完全不輸超大模型。
Perplexity 面向 Pro 使用者推出基於 OpenAI o1-mini 的 reasoning 聚焦模式測試版。該模式專門用於數學、程式設計與邏輯解謎,但目前尚未接入聯網搜尋,且受速率限制響應相對較慢。
OpenAI 宣佈放寬 Plus 和 Team 使用者的 o1 模型使用限制。輕量模型 o1-mini 的限額直接翻了 7 倍,從每週 50 條增加到每天 50 條;成本更高的 o1-preview 也從每週 30 條上調至每週 50 條,讓付費使用者能更痛快地測試推理能力。
OpenAI 自上週推出具備推理能力的 o1 模型後,開始向試圖窺探其隱藏思維鏈的使用者傳送警告信甚至威脅封號。o1 在介面中只展示經二道過濾的思考總結,不少使用者和安全研究員嘗試用提示詞注入套取真實過程,甚至輸入「reasoning trace」一詞就會觸發違規警告。