跳到正文
IFAI

開源專案

Unsloth Studio:不用寫程式碼,本地微調 500+ 模型還省 70% 視訊記憶體

首次發布 傳播指數 48

Unsloth 釋出開源無程式碼工具 Unsloth Studio 公測版。它把資料製作、模型訓練與本地推理整合進同一介面,能把 PDF 等文件直接轉成資料集,訓練速度翻倍且省 70% 視訊記憶體。支援 500 多種模型,已在 GitHub 開源。

Unsloth Studio:不用寫程式碼,本地微調 500+ 模型還省 70% 視訊記憶體
圖:unslothai.substack.com

Unsloth Studio 是一個在本地執行的開源無程式碼工具,它把大模型的整個生命週期打包進了一個統一的 Web 介面。從整理資料、微調訓練,到本地推理和格式匯出,你完全不需要碰 Python 指令碼就能搞定。

做微調最頭疼的往往不是訓模型,而是準備格式對齊的資料集。Unsloth Studio 拿出了一個叫 Unsloth Data Recipes 的功能,允許你直接把手頭的 PDF、CSV、DOCX 或純文本檔案扔進去,自動生成結構化的合成數據集。配合圖形化的節點工作流,你可以像連線一樣視覺化地編輯和清洗資料,再直接送去微調。

它能做什麼

在模型支援上,它覆蓋了 500 多種主流開源模型,不僅包含常見的文本模型,還支援視覺、TTS 語音以及 Embedding 向量模型。訓練模式也很全面,全量微調、預訓練、4-bit、16-bit 以及 FP8 精度訓練全部支援。

它的核心賣點依然是 Unsloth 招牌的視訊記憶體最佳化。官方資料顯示,在保持精度不損失的前提下,訓練速度比傳統方式提升 2 倍,同時節省 70% 的視訊記憶體佔用。介面內還能即時監控訓練指標,追蹤 Loss 曲線和視訊記憶體佔用率,並支援自定義圖表。

訓完之後不需要切到別的軟體。你可以在同一個介面裡直接跑 GGUF 或 safetensor 格式的模型做推理,它支援自動微調推理引數和修改對話模板。此外,它還內建了沙盒程式碼執行、網頁搜尋和自愈工具呼叫功能,讓本地模型能自己跑程式碼驗證答案。

怎麼跑起來與限制

Unsloth Studio 目前以公測版形式開源在 GitHub 上,支援 Mac、Windows 和 Linux。

不過不同平臺的體驗有些差異。Windows 和 Linux 上有完整的本地訓練支援;Mac 使用者目前可以通過 CPU 或 Metal 跑 Chat GGUF 的本地推理,但針對 Apple Silicon 的 MLX 訓練還在開發中,官方表示很快會推出。多卡訓練目前也還在適配中。

模型匯出非常省事,支援直接轉出 GGUF 格式供 Ollama 或 LM Studio 使用,也可以匯出為 16-bit safetensor 格式部署到伺服器。

為什麼重要

我們認為,Unsloth Studio 最大的價值在於把本地大模型微調的門檻徹底拉平了。過去哪怕用 LLaMA-Factory 這種工具,新手也得懂一點環境配置和 JSON 格式轉換,現在老師丟幾本教材 PDF 就能訓一個學科助手,作家上傳自己的歷史文稿就能調教專屬寫手。

對於個人開發者和中小團隊來說,70% 的視訊記憶體降幅意味著很多原本需要租多張 A100 的任務,現在單張消費級顯示卡或者普通伺服器就能跑起來。雖然多卡支援和 Mac 原生訓練還沒上線,但作為剛起步的 Beta 版,它已經是目前本地模型工作流裡最完整、門檻最低的圖形化工具之一,非常值得立刻拉下來跑一跑。

來源 (1)

  1. [1]

每日 AI 內容精選