Stability AI 開源 SDXL 1.0:原生 1024 解析度,告別畫手翻車
Stability AI 正式開源旗艦文生圖模型 SDXL 1.0。新模型支援原生 1024x1024 解析度,大幅改善了手部渲染、文字和複雜構圖能力,簡短提示詞即可出圖,不再需要堆砌「masterpiece」等修飾詞。模型採用雙階段管線,8GB 視訊記憶體顯示卡即可執行。
Llama、通義千問、DeepSeek 等開源大模型的新版本,以及值得一用的開源資料集、框架和開發工具。
Stability AI 正式開源旗艦文生圖模型 SDXL 1.0。新模型支援原生 1024x1024 解析度,大幅改善了手部渲染、文字和複雜構圖能力,簡短提示詞即可出圖,不再需要堆砌「masterpiece」等修飾詞。模型採用雙階段管線,8GB 視訊記憶體顯示卡即可執行。
Hugging Face 推出 JavaScript 庫 Agents.js,讓大語言模型能在瀏覽器或 Node 環境中呼叫多模態工具。它開箱即帶文生圖、影像描述等能力,並支援接入自定義模型與工具。不過目前它通過在環境中執行生成程式碼運作,官方提醒在不可信環境存在安全風險。
InvokeAI 正式釋出 3.0.0 版本。系統程式碼被全面重寫為節點化架構,並加入實驗性的節點編輯器。新版本還集成了 ControlNet、動態提示詞,初步支援 SDXL,支援超過 77 個 token 的長提示詞,並讓 Mac 使用者能以半精度載入模型省視訊記憶體。
Hugging Face 釋出實驗性專案 AI WebTV。該方案用 ChatGPT 構思提示詞,串接 Zeroscope V2 生成影片短片,再經 FILM 插幀與 MusicGen 配樂,最後通過 FFmpeg 自動推流。雖然畫質和連貫性有限,但跑通了開源多模態端到端自動播出的流水線。
據《華盛頓郵報》報道,Meta 開源大語言模型 LLaMA 正被用於建立露骨的色情聊天機器人,部分甚至包含暴力角色扮演內容。開源讓模型脫離了商業護欄的審查與管控,這再次引發了關於 AI 究竟該開源共享還是閉源把關的激烈爭論。
微軟研究院公佈 130 億引數模型 Orca。它通過學習 GPT-4 的逐步推理過程,在 BBH 推理測試中表現追平 ChatGPT,比 Vicuna 提升 100%。這意味著輕量模型不用依賴龐大數據中心也能擁有紮實推理能力,不過在綜合考試表現上它仍落後於 GPT-4。
Meta 開源計算機視覺模型 I-JEPA。它不再死磕畫素細節,而是像人類一樣在抽象語義層面預測影像的缺失部分。這套架構僅用 16 塊 A100 訓練不到 72 小時,計算效率高出數倍,被視作邁向通用世界模型的重要一步。
Hugging Face 宣佈全面整合阿布扎比 TII 開源的 Falcon 系列模型。Falcon-40B 採用 Apache 2.0 協議且允許商用,在開源排行榜上擊敗 LLaMA-65B 登頂。得益於 Multi-Query Attention,其推理視訊記憶體大幅降低,7B 版本甚至可在消費級顯示卡及 Mac 上執行。
一款新的開源 AI 音樂生成器在 GitHub 釋出,支援僅憑文本提示詞和歌詞生成帶人聲的完整歌曲。實測音訊具備立體聲效果且聲底乾淨,不過個別字詞發音仍有輕微瑕疵,目前模型與本地執行說明已對外開放。
Meta 開源 Massively Multilingual Speech(MMS)系列模型與程式碼。它將語音識別和合成支援拓展到 1100 多種語言,並能識別 4000 多種口語。團隊通過多語種聖經朗讀音訊解決了小語種資料匱乏的問題,希望以此減緩全球瀕危語言的消亡。
Stability AI 宣佈開源文生圖產品 DreamStudio,推出開源專案 StableStudio。官方希望藉助社群力量打造生成式 AI 互動介面,支援外掛擴充套件與 WebGPU 本地推理,未來還將引入聊天介面。DreamStudio 仍將作為官方託管版本保留。
據 The Information 報道,OpenAI 正準備向公眾釋出一款新的開源語言模型。不過知情人士透露,該模型不大可能與自家的 GPT 系列抗衡,大機率不會對其商業化核心業務造成衝擊。
Meta 開源全新 AI 研究模型 ImageBind。它首次將文本、音訊、影像影片、熱感、深度以及來自 IMU 的運動感測器資料整合進同一個嵌入空間。這意味著未來的生成式模型能根據動作或聲音反推畫面,不過目前它仍處於研究階段,沒有直接落地產品。
OpenAI 開源了 3D 生成模型 Shap-E,並在 GitHub 放出權重與推理程式碼。它能根據單條文本提示詞在數秒內直接生成隱式函式引數,渲染出紋理網格和 NeRF。相比上一代 Point-E 它收斂更快、質量更優,不過目前還只擅長簡單單物體生成。
Hugging Face 與 ServiceNow 聯合釋出程式碼生成模型 StarCoder。該模型引數量達 150 億,覆蓋 80 多種程式語言,使用經篩選的開源資料集訓練。最值得關注的是,它允許包括企業在內的所有人免費商用,直接為收費的 GitHub Copilot 提供了透明、可微調的開源替代品。
一份 Google 內部備忘錄曝光,稱 Google 和 OpenAI 在 AI 競賽中都沒有護城河。檔案指出,自 Meta LLaMA 洩露以來,開源社群靠 LoRA 等低成本技術極速迭代,小模型能力已逼近閉源巨頭;繼續封閉只會落後,巨頭應主動擁抱開源生態。
Stability AI 釋出首個通過人類反饋強化學習(RLHF)訓練的大規模開源聊天模型 StableVicuna-13B。該模型基於 Vicuna-13B,結合 Anthropic 與 OpenAssistant 等偏好資料集,用 trlX 完成 PPO 強化學習。最值得關注的是,它把此前多被閉源獨佔的 RLHF 完整流程帶入了開源社群。模型權重差量已在 Hugging Face 開放下載。
Hugging Face 推出開源 ChatGPT 替代品 HuggingChat。它由 Open Assistant 最新模型與自身的推理 API 驅動。在閉源商業模型主導的當下,開源陣營終於有了開箱即用的對標工具。
NVIDIA 開源 NeMo Guardrails,幫開發者規範大模型應用的輸出。它提供話題控制、內容安全和系統防護三類護欄,支援 ChatGPT 等主流模型,並能直接接入 LangChain。開發者不用懂機器學習,寫幾行程式碼就能防住 AI 亂答。
Cohere 釋出維基百科向量資料歸檔 The Embedding Archives,免費開放約 1 億條多語言 Embedding 向量。資料集基於其多語言模型生成,涵蓋中英日等 10 種語言,已上線 Hugging Face。開發者無需自行切分文本與呼叫 API,就能直接搭建跨語言語義搜尋。