大語言模型的「Stable Diffusion 時刻」:筆記本也能跑 LLaMA 了
開發者 Simon Willison 發文稱大模型正迎來類似 Stable Diffusion 的開源拐點。通過開源專案 llama.cpp 的 4-bit 量化技術,7B 與 13B 版本的 LLaMA 模型已能直接在 MacBook 上本地流暢執行,打破了原本需要高昂雲端算力的門檻。
開發者 Simon Willison 發文稱大模型正迎來類似 Stable Diffusion 的開源拐點。通過開源專案 llama.cpp 的 4-bit 量化技術,7B 與 13B 版本的 LLaMA 模型已能直接在 MacBook 上本地流暢執行,打破了原本需要高昂雲端算力的門檻。
ML6 工程師展示了基於開源庫 Anomalib 的工業視覺質檢方案。該方案採用教師-學生網路架構的單分類學習,僅需無缺陷樣本即可訓練,能在畫素級精確定位缺陷。配合 OpenVINO 在 CPU 上的推理速度提升近 4 倍,達到 30.2 fps。