大语言模型的「Stable Diffusion 时刻」:笔记本也能跑 LLaMA 了
开发者 Simon Willison 发文称大模型正迎来类似 Stable Diffusion 的开源拐点。通过开源项目 llama.cpp 的 4-bit 量化技术,7B 与 13B 版本的 LLaMA 模型已能直接在 MacBook 上本地流畅运行,打破了原本需要高昂云端算力的门槛。
开发者 Simon Willison 发文称大模型正迎来类似 Stable Diffusion 的开源拐点。通过开源项目 llama.cpp 的 4-bit 量化技术,7B 与 13B 版本的 LLaMA 模型已能直接在 MacBook 上本地流畅运行,打破了原本需要高昂云端算力的门槛。
ML6 工程师展示了基于开源库 Anomalib 的工业视觉质检方案。该方案采用教师-学生网络架构的单分类学习,仅需无缺陷样本即可训练,能在像素级精确定位缺陷。配合 OpenVINO 在 CPU 上的推理速度提升近 4 倍,达到 30.2 fps。