MIT 演示 AI 直接重寫模型權重:無需訓練,僅改 0.016% 修復小模型缺陷
MIT 研究人員發現,OpenAI 的 GPT-6 Astra 能在不進行二次訓練的情況下,直接讀取並修改其他小模型的連續權重。在測試中,Astra 僅修改了 Qwen 模型 0.016% 的權重就修補了死迴圈缺陷,將其數學得分從 7.9% 拉高至 48.1%。這意味著前沿模型未來或能直接在底層手動升級 AI,無需依賴繁重的訓練流程。
MIT 研究人員發現,OpenAI 的 GPT-6 Astra 能在不進行二次訓練的情況下,直接讀取並修改其他小模型的連續權重。在測試中,Astra 僅修改了 Qwen 模型 0.016% 的權重就修補了死迴圈缺陷,將其數學得分從 7.9% 拉高至 48.1%。這意味著前沿模型未來或能直接在底層手動升級 AI,無需依賴繁重的訓練流程。
ScenemaAI 開源情感語音模型 Scenema Audio。它從 LTX 2.3 中提取出音訊擴散架構,允許用舞臺動作標籤即時控制情緒起伏與環境音效,還支援零樣本聲音克隆。模型最低僅需 16GB 視訊記憶體即可本地執行,支援 13 種語言。
Google 推出開源翻譯模型系列 TranslateGemma,提供 4B、12B 和 27B 三個尺寸。模型基於 Gemma 3 並蒸餾了 Gemini 的能力,支援 55 種語言,12B 版本效果反超原本 27B 基準,且保留了直接翻譯圖片內文字的能力。
Google DeepMind 開源模型可解釋性工具套件 Gemma Scope 2,全面覆蓋 Gemma 3 從 270M 到 27B 的全系列模型。它結合稀疏自編碼器與轉碼器,幫助研究人員看清模型內部計算過程,以此深入分析越獄、幻覺和思維鏈忠實度等安全隱患。
Google 釋出基於 Gemma 3 的 T5Gemma 2 模型家族,成為首個支援多模態與 128K 長上下文的編碼器-解碼器架構。新模型通過合併注意力和繫結詞嵌入精簡引數,提供 3.7 億至 70 億等緊湊尺寸,專為端側部署打造。目前僅提供預訓練權重,需開發者自行微調。
Google 釋出 FunctionGemma,基於 Gemma 3 270M 專門針對函式呼叫微調。它體積極小,能離線跑在手機或 Jetson Nano 上,微調後任務準確率從 58% 升至 85%,可充當本地獨立智慧體或複雜任務的分流排程器。
Google 釋出開源端側嵌入模型 EmbeddingGemma,體量僅 3.08 億引數。它專為硬體本地執行打造,無需聯網即可執行語義搜尋與 RAG 檢索,同時與 Gemma 3n 共用分詞器以降低記憶體佔用,兼顧了端側隱私和多語言理解。
Google 推出超輕量模型 Gemma 3 270M,引數量僅 2.7 億。它自帶指令遵循和文本結構化能力,專為特定任務微調設計,旨在讓開發者用極低成本與高速度搞定文本分類、資料提取等明確場景。
Google 推出開源醫療多模態模型 MedGemma 27B Multimodal 與輕量級影像文本編碼器 MedSigLIP。兩款模型均支援單卡執行,甚至可在移動硬體部署,旨在幫助醫療開發者自主掌控資料隱私與微調控制權。
Google 釋出採用量化感知訓練(QAT)的 Gemma 3 模型版本。通過將模型壓縮至 4 位(int4),視訊記憶體佔用大幅下降,困惑度下降幅度減少了 54%。這意味著原本需要昂貴算力卡的 27B 大模型,如今在單張 RTX 3090 顯示卡上就能直接本地執行。
Google 釋出新一代開源模型 Gemma 3,覆蓋 1B 到 27B 四種尺寸。除 1B 外均支援圖文輸入,上下文拓寬至 128k,支援超 140 種語言。最值得關注的是,27B 版本跑分超越了 Gemini 1.5 Pro。