Mistral 證實神秘模型洩露：逼近 GPT-4 效能的 miqu 確為自研舊作

miqu-1-70b 是一個 700 億引數（70B）的大語言模型，能為你提供接近 OpenAI 頂級模型 GPT-4 水平的本地推理與文本生成能力。

這個模型最初由使用者「Miqu Dev」上傳到 Hugging Face，並在 4chan 等社群被髮掘傳播。2024 年 1 月 31 日，Mistral CEO Arthur Mensch 在 X 上證實，它確實是 Mistral 內部基於 Meta 的 Llama 2 架構重新訓練的自研舊模型，因一位早期客戶的員工操作不慎而被洩露到社群。

它能做什麼與跑分表現

miqu-1-70b 具備極高的通用語言處理能力，其提示詞格式（Prompt format）與 Mistral 系列完全一致。

在社群實測與基準評測中，它的表現令人意外。在衡量模型綜合能力的 EQ-Bench 榜單上，miqu-1-70b 的成績已經逼近業界標杆 GPT-4。

在大多數日常測試裡，它的表現持平甚至超過了 Mistral 此前最強的開源模型 Mixtral 8x7b，在部分基準測試中甚至壓過了 Mistral Medium。除 GPT-4 之外，它幾乎擊敗了當時市面上能見到的絕大部分語言模型。

怎麼做到的與硬體規格

從架構上看，它是 Mistral 在拿到算力集群后，基於 Meta 的 Llama 2 底座直接重新訓練出來的 70B 模型。據 Arthur Mensch 透露，該模型的預訓練早在 Mistral 7B 釋出的那一天就已完成。

流出最初的檔案是經過量化（Quantized）且帶有數字水印的版本。量化技術通過縮短引數的數值精度，讓原本需要極高視訊記憶體的 70B 模型可以在消費級顯示卡或工作站上執行。

摩根大通機器學習科學家 Maxime Labonne 指出，社群開發者隨後迅速反推出了未經量化的完整版本。如果你要在本地部署量化版本，通常需要配置至少 48GB 視訊記憶體的雙卡環境，或者使用高階 Mac 統一記憶體來承載。

怎麼獲取與使用限制

目前該模型的量化權重與還原版檔案依然存放在 Hugging Face 平臺上，使用者可以直接下載配置檔案到本地推理框架中使用。

有趣的是，Mistral 官方並沒有向 Hugging Face 發起侵權下架要求。Arthur Mensch 甚至在模型頁面下開玩笑留言，建議上傳者「考慮給原作者署個名」。

不過需要注意，這並不是官方正式授權釋出的開源專案。它缺乏正式的商業開源許可證，本質上是一份帶有客戶水印的洩露檔案，企業在商用生產環境中部署存在合規風險。

為什麼重要

對想要自建高效能本地模型的開發者來說，miqu-1-70b 證明了僅靠 Llama 2 的底座加上優質的重訓方案，開源模型就足以觸碰 GPT-4 的效能邊界。

如果你手頭有足夠的本地算力，且需要一個不依賴外部 API、推理邏輯極強的離線模型，miqu-1-70b 非常值得拉下來實測。但對於企業使用者，建議等待 Mistral 官方後續正式釋出的授權模型，避免潛在的版權隱患。