跳到正文
IFAI

开源项目

Unsloth Studio:不用写代码,本地微调 500+ 模型还省 70% 显存

首次发布 传播指数 48

Unsloth 发布开源无代码工具 Unsloth Studio 公测版。它把数据制作、模型训练与本地推理整合进同一界面,能把 PDF 等文档直接转成数据集,训练速度翻倍且省 70% 显存。支持 500 多种模型,已在 GitHub 开源。

Unsloth Studio:不用写代码,本地微调 500+ 模型还省 70% 显存
图:unslothai.substack.com

Unsloth Studio 是一个在本地运行的开源无代码工具,它把大模型的整个生命周期打包进了一个统一的 Web 界面。从整理数据、微调训练,到本地推理和格式导出,你完全不需要碰 Python 脚本就能搞定。

做微调最头疼的往往不是训模型,而是准备格式对齐的数据集。Unsloth Studio 拿出了一个叫 Unsloth Data Recipes 的功能,允许你直接把手头的 PDF、CSV、DOCX 或纯文本文件扔进去,自动生成结构化的合成数据集。配合图形化的节点工作流,你可以像连线一样可视化地编辑和清洗数据,再直接送去微调。

它能做什么

在模型支持上,它覆盖了 500 多种主流开源模型,不仅包含常见的文本模型,还支持视觉、TTS 语音以及 Embedding 向量模型。训练模式也很全面,全量微调、预训练、4-bit、16-bit 以及 FP8 精度训练全部支持。

它的核心卖点依然是 Unsloth 招牌的显存优化。官方数据显示,在保持精度不损失的前提下,训练速度比传统方式提升 2 倍,同时节省 70% 的显存占用。界面内还能实时监控训练指标,追踪 Loss 曲线和显存占用率,并支持自定义图表。

训完之后不需要切到别的软件。你可以在同一个界面里直接跑 GGUF 或 safetensor 格式的模型做推理,它支持自动微调推理参数和修改对话模板。此外,它还内置了沙盒代码执行、网页搜索和自愈工具调用功能,让本地模型能自己跑代码验证答案。

怎么跑起来与限制

Unsloth Studio 目前以公测版形式开源在 GitHub 上,支持 Mac、Windows 和 Linux。

不过不同平台的体验有些差异。Windows 和 Linux 上有完整的本地训练支持;Mac 用户目前可以通过 CPU 或 Metal 跑 Chat GGUF 的本地推理,但针对 Apple Silicon 的 MLX 训练还在开发中,官方表示很快会推出。多卡训练目前也还在适配中。

模型导出非常省事,支持直接转出 GGUF 格式供 Ollama 或 LM Studio 使用,也可以导出为 16-bit safetensor 格式部署到服务器。

为什么重要

我们认为,Unsloth Studio 最大的价值在于把本地大模型微调的门槛彻底拉平了。过去哪怕用 LLaMA-Factory 这种工具,新手也得懂一点环境配置和 JSON 格式转换,现在老师丢几本教材 PDF 就能训一个学科助手,作家上传自己的历史文稿就能调教专属写手。

对于个人开发者和中小团队来说,70% 的显存降幅意味着很多原本需要租多张 A100 的任务,现在单张消费级显卡或者普通服务器就能跑起来。虽然多卡支持和 Mac 原生训练还没上线,但作为刚起步的 Beta 版,它已经是目前本地模型工作流里最完整、门槛最低的图形化工具之一,非常值得立刻拉下来跑一跑。

来源 (1)

  1. [1]

每日 AI 内容精选