跳到正文
IFAI

大模型

微軟上線 MAI-Code-1.1-Flash:推理成本砍掉 75%,速度提升 25%

首次發布 傳播指數 50

微軟在 GitHub Copilot 中上線程式設計模型 MAI-Code-1.1-Flash。相比 6 月釋出的 1.0 版本,新模型推理成本直降 75%,Token 輸出速度提升 25%,並針對 CLI 與 .NET 場景做了專門最佳化。後續還支援 3-bit 量化在本地端側執行,保留 256K 上下文且免推理費。

微軟上線 MAI-Code-1.1-Flash:推理成本砍掉 75%,速度提升 25%
圖:microsoft.ai

寫程式碼用 AI 確實爽,但無論對開發者還是對平臺來說,背後狂跳的算力賬單都讓人肉痛。

微軟給 GitHub Copilot 裝上了一臺新引擎:MAI-Code-1.1-Flash。作為一款主打輕量高效的程式設計主力模型,它已經正式進入 GitHub Copilot 生產環境。

相比 6 月在微軟 Build 大會上亮相的 1.0 版本,新模型最狠的地方在於把推理成本直接砍掉了 75%。與此同時,它的 Token 輸出速度提升了 25%,完成同一任務所需的 Token 數量也降低了 25%。

專治水土不服的實戰派

大模型在基準跑分榜上刷分是一回事,進終端敲程式碼又是另一回事。

微軟表示,這次的改動完全是聽了開發者的吐槽。大家平時最需要的不是抽象的數學邏輯,而是實打實的命令列(CLI)支援和 .NET 場景。於是團隊集中火力優化了這兩塊,最終讓新模型在 Terminal-Bench 2.1 上的得分暴漲 22%,.NET 任務表現提升了 15%。

為了讓程式碼真正實用,微軟在 GitHub Copilot 內部超過數十萬個強化學習環境中對模型進行了打磨。

成效很快在真實業務中顯現出來:線上程式碼存活率提升了 4%,開發者的回訪率增加了 9%。說白了,生成出來的程式碼不是被看一眼就刪掉,而是真被程式設計師留下來合進了倉庫。

256K 上下文塞進端側,推理費直接歸零

更讓人眼前一亮的是端側落地的規劃。

微軟後續披露,MAI-Code-1.1-Flash 支援 3-bit 量化,不僅大幅降低了對硬體視訊記憶體和記憶體的佔用,還硬生生保留了完整的 256K 超長上下文視窗。在 SWE-Bench Verified 和 Terminal-Bench 2.1 上,它的程式設計表現基本追平了全精度版本。

這也給 GitHub Copilot 的模型路由帶來了全新的打法:合規、常規的程式碼補全直接交由開發者本地硬體執行,推理費用直接變成零;只有遇到更龐雜、需要極強推理能力的任務時,再自動轉給雲端大模型。

不過想在本地嚐鮮門檻不低,微軟推薦本地裝置的執行記憶體最好超過 120GB。按照計劃,這項實驗性支援將在月底前陸續進入 GitHub Copilot 獨立客戶端、CLI 以及 VS Code。

為什麼重要

對一線開發者來說,這種提速降本意味著肉眼可見的體驗改善。游標等待響應的時間短了 25%,生成的廢話少了四分之一。如果你的工作站配置足夠高,未來甚至能在斷網或嚴格保密的情況下,免費享受到 256K 視窗的端側智慧補全。

而對微軟和 GitHub 來說,這一步走得相當精明。Copilot 採用固定訂閱制,使用者敲的程式碼越多,雲端消耗的算力就越重。把推理單價砍掉四分之三,再通過本地端側分流一部分日常請求,直接卸下了平臺最沉重的算力負擔,把利潤空間實打實留給了自己。

我們認為,MAI-Code-1.1-Flash 印證了程式設計 AI 的新趨勢:無腦堆砌千億引數去刷榜的時代已經到頭了。未來的戰場屬於針對真實生產場景精調、推理飛快、成本極低的小鋼炮,配合端雲協同的混合架構,才是讓 AI 真正扎進日常開發的正解。

來源 (1)

  1. [1]
    microsoft.ai(在新分頁開啟)原文microsoft.ai

每日 AI 內容精選