Stability AI 釋出 DeepFloyd IF:能直接在圖片裡精準渲染文字
Stability AI 聯合旗下實驗室 DeepFloyd 推出級聯畫素擴散模型 DeepFloyd IF,先以研究許可開源。它採用 T5-XXL 文本編碼器,攻克了過去生圖模型極難在畫面中精準渲染連貫英文文字的難題,在 COCO 取得 6.66 的 FID 成績。目前先開放給學術研究,未來計劃完全開源。
Stability AI 聯合旗下實驗室 DeepFloyd 推出級聯畫素擴散模型 DeepFloyd IF,先以研究許可開源。它採用 T5-XXL 文本編碼器,攻克了過去生圖模型極難在畫面中精準渲染連貫英文文字的難題,在 COCO 取得 6.66 的 FID 成績。目前先開放給學術研究,未來計劃完全開源。
Sifted 披露一份洩露的融資簡報,質疑 Stability AI 在 2022 年 10 月籌集 1.01 億美元 A 輪融資時誇大了自身角色。文稿不僅聲稱共同創立了多家知名 AI 專案,還引發對其是否真正擁有核心智慧財產權的爭議。說白了,這揭開了生成式 AI 狂熱期初創團隊包裝背景的隱秘角落。
Stability AI 釋出開源大語言模型套件 Stable LM 的 Alpha 版本,先推 30 億和 70 億引數兩款。模型用 1.5 萬億 token 訓練,基礎版遵循 CC BY-SA-4.0 協議且允許商用。最值得關注的是它身材足夠小,開發者不用依賴昂貴閉源 API,在消費級硬體上就能直接本地執行。
Stability AI 推出文生圖模型 Stable Diffusion XL(SDXL)。該模型擁有 35 億引數,主打高解析度和逼真細節生成。這意味著創作者和開發者有了更高上限的開源影像生成底模,不僅風格更多元,畫質也更接近專業級。
據 Semafor 報道,開源影像模型 Stable Diffusion 背後的初創公司 Stability AI 燒錢速度驚人且缺乏盈利路徑,陷入嚴重財務困境。公司去年融到的 1 億美元已所剩無幾,原本衝刺 40 億美元估值的新一輪融資也已動搖。在 Midjourney 等對手的擠壓下,開源明星公司的商業化顯得格外艱難。
Stability AI 宣佈推出 Stable Diffusion Reimagine。這是 Clipdrop 上的新工具,使用者不需要寫複雜提示詞,上傳一張圖片即可生成無限張細節和構圖不同的變體。它用影像編碼器取代了文本編碼器,不會複用原圖的任何畫素,模型後續還將開源。
Stability AI 宣佈收購熱門影像工具 Clipdrop 的開發商 Init ML,完成其首筆併購。Init ML 擁有超 1500 萬用戶,收購後將作為全資獨立子公司運營且全員留任。Stability AI 計劃把最新的開源生成式模型無縫接入 Clipdrop 工作流。
據彭博社 3 月報道,Stable Diffusion 母公司 Stability AI 正與投資者接洽,計劃以約 40 億美元估值進行新一輪融資。該公司去年 10 月剛以 10 億美元估值完成 1.01 億美元融資,目前融資金額未定,最終估值仍可能有變。
Getty Images 在美國德拉瓦州法院正式起訴 Stability AI,指控其未經許可擅自使用超過 1200 萬張圖片及後設資料訓練 Stable Diffusion。Getty 要求法院下令銷燬所有侵權訓練的模型版本並索賠,直擊生成式 AI 訓練資料的版權核心爭端。
三位獨立藝術家在舊金山對 Stability AI、Midjourney 和 DeviantArt 提起集體訴訟,指控其未經許可抓取數十億張網路圖片訓練模型。原告指出,使用者只需輸入藝術家名字即可生成仿製畫風,侵蝕創作者生存空間。這是藝術家群體首次在法庭上直接叫板生成式 AI 公司。
Getty Images 在倫敦高等法院起訴 Stability AI,指控對方未經許可抓取其數百萬張受版權保護的圖片來訓練 Stable Diffusion。Getty 表示自己並不排斥 AI,已向部分廠商授權相簿,但指責 Stability 繞過合規許可侵權牟利。
三位藝術家聯合對 Stability AI、Midjourney 和 DeviantArt 提起集體版權訴訟,指控它們未經許可使用受版權保護的影像訓練模型並模仿風格。原告要求經濟賠償並申請禁令,該案將直接檢驗未經授權抓取公開資料訓練 AI 是否屬於合理使用。
《衛報》刊發專欄指出,Lensa、Midjourney 等影像生成工具正加速滲透商業領域,直接衝擊插畫師等零工創意群體。儘管有藝術家發起 Spawning 專案爭取「退出訓練集」權利,但如何定義和保護畫風版權仍缺乏法律支撐。
盤點了支撐當下影像生成 AI 的核心技術擴散模型的發展歷程。擴散模型借鑑非平衡熱力學,通過學習從噪聲中恢復資料的逆過程,並在 OpenAI CLIP 的指引下實現精準生成。除了畫畫,該架構正快速擴充套件至音樂創作以及蛋白質和 DNA 序列設計等生物醫療領域。
眾籌平臺 Kickstarter 關停了 AI 成人內容專案 Unstable Diffusion 的籌款活動。該專案原計劃籌資訓練無審查影像模型,已從 867 人處籌得超 5.6 萬美元,款項將全部退還。Kickstarter 表示正重新評估涉及版權與潛在傷害的 AI 專案規則。
斯坦福大學 AIMI 研究人員通過微調開源 Stable Diffusion,成功生成了具備病變特徵的逼真胸部 X 光片。研究證明通用潛擴散模型無需昂貴算力即可遷移到專業醫學領域,有助於填補罕見病資料缺口。不過目前生成影像多樣性有限,且協議禁止直接用於診斷。
Stable Diffusion 2.0 正式釋出,最大看點是新增 depth2img 功能。該功能利用 MiDaS 演算法根據 2D 圖推算深度圖,生成時能嚴格保留主體的 3D 幾何結構。這意味著 3D 創作者只要搭個簡單灰盒,就能直接用 AI 快速探索材質與光影方案。