微軟推出 13B 模型 Orca：模仿 GPT-4 思考過程，推理打平 ChatGPT

微軟研究院公佈的 Orca 是一個 130 億引數（13B）的輕量級語言模型，能讓你在不依賴龐大數據中心的前提下，在本地或自有算力上跑出接近大模型的推理效果。

它的核心用途是讓小模型也能做複雜的邏輯推理。以前的開源輕量模型大多隻模仿大模型的最終回答，學得浮於表面，遇到多步邏輯推理就容易翻車。Orca 則專門針對這個痛點進行了改良。

它是怎麼做到的

Orca 基於開源模型 Vicuna 構建，但學習方式有了根本變化。

微軟沒有讓它單單學習輸入和輸出的配對，而是引入傳聞擁有超過萬億引數的 GPT-4，要求 GPT-4 給出詳細的解釋、逐步思考的推理鏈以及複雜的指令拆解。

說白了，它不是在背大模型的標準答案，而是在臨摹 GPT-4 的解題思路。通過這種大規模且多樣化的漸進式模仿資料訓練，小模型逐步吸收了更深層的邏輯能力。

實際效果與執行開銷

根據論文披露的測試資料，Orca 在考驗複雜零樣本推理的 Big-Bench Hard（BBH）基準上，表現直接比前代 Vicuna 高出 100%，基本追平了 ChatGPT。

在基準測試 AGIEval 上，Orca 的執行速度據稱比傳統 AI 模型快了 42%。在 SAT、LSAT、GRE 和 GMAT 等學術考試中，它也展現出了很強的競爭力，不過整體水準依然落後於真正的 GPT-4。

在硬體需求方面，13B 引數的體量意味著個人開發者或實驗室無需昂貴的超算叢集，用常規的單卡伺服器就能獨立部署和微調。

不過要注意，Orca 目前核心成果主要以研究論文形式展現。而且它畢竟受限於 13B 的引數上限，在知識廣度和超高難度的專業測試裡，差距依然客觀存在。

為什麼重要

我們認為 Orca 最聰明的地方，在於徹底改變了小模型的訓練思路。過去開源社群把精力花在堆砌問答資料上，其實只是讓小模型學會了說漂亮話，一碰邏輯就露餡；Orca 證明了只要餵給它高質量的思維鏈資料，13B 也能擁有紮實的推理底子。

對於想要本地化部署、受限於算力成本的獨立開發者和中小團隊來說，這種思路指明瞭一條極具價效比的落地路徑。未來即使不用大牌雲端 API，手頭的本地小模型也能扛起大部分需要講究邏輯的日常任務了。