伯克利與斯坦福推出 GEPA:無需昂貴強化學習,試錯輪次省下 35 倍
UC Berkeley、斯坦福與 Databricks 聯合提出新型最佳化方法 GEPA。它摒棄了傳統強化學習依賴標量打分的暴力試錯,轉而讓大模型分析執行日誌和報錯資訊,靠自然語言反思迭代提示詞,用少 35 倍的試錯輪次實現了更優表現。
UC Berkeley、斯坦福與 Databricks 聯合提出新型最佳化方法 GEPA。它摒棄了傳統強化學習依賴標量打分的暴力試錯,轉而讓大模型分析執行日誌和報錯資訊,靠自然語言反思迭代提示詞,用少 35 倍的試錯輪次實現了更優表現。
影片理解 AI 公司 TwelveLabs 宣佈完成 3000 萬美元戰略融資,總融資額達 1.071 億美元。同時,前 SK Telecom CTO、Siri 核心架構師 Yoon Kim 加盟出任總裁。其模型專為影片打造,能精準檢索畫面內容,正加速拓展企業與安防場景。
Snowflake 推出企業級大模型 Arctic LLM,採用 Apache 2.0 協議完全開源並允許商用。該模型基於混合專家架構,總引數 480B 但每次僅啟用 17B,訓練成本僅約 200 萬美元,主打企業資料庫程式碼生成與 SQL 查詢,表現據稱優於 Databricks 的 DBRX。
Cloudflare 推出 Workers AI、Vectorize 和 AI Gateway 三款工具。開發者可按需呼叫就近 GPU 執行 Llama 2 等模型,配合向量資料庫與用量監控降低延遲和成本。推理資料保留在本地且不參與模型訓練。
NVIDIA 推出開源庫 TensorRT-LLM,專為加速大語言模型推理設計。它引入動態組批與 FP8 精度,在 H100 上相比 A100 帶來最高 8 倍吞吐提升,Llama 2 推理提速 4.6 倍。開發者通過 Python API 即可呼叫底層並行最佳化,大幅降低算力與電費支出。
Databricks 宣佈以 13 億美元收購生成式 AI 初創公司 MosaicML。MosaicML 擁有 MPT 系列開源模型,主打低成本訓練與微調。最值得關注的是,收購後企業可直接在 Lakehouse 平臺上用私有資料訓練專屬大模型,無需將敏感資料交給公有閉源廠商。