Meta 開源視覺模型 DINOv2:無需微調,通吃分類與深度估計
Meta AI 開源自監督計算機視覺模型 DINOv2。它完全擺脫了對文本描述和人工標籤的依賴,提取的特徵直接接入簡單線性分類器就能用,在深度估計和影像檢索等任務上表現出色,適合作為通用視覺骨幹網路。
Meta AI 開源自監督計算機視覺模型 DINOv2。它完全擺脫了對文本描述和人工標籤的依賴,提取的特徵直接接入簡單線性分類器就能用,在深度估計和影像檢索等任務上表現出色,適合作為通用視覺骨幹網路。
Stability AI 推出文生圖模型 Stable Diffusion XL(SDXL)。該模型擁有 35 億引數,主打高解析度和逼真細節生成。這意味著創作者和開發者有了更高上限的開源影像生成底模,不僅風格更多元,畫質也更接近專業級。
TechCrunch 報道 OpenAI 發表「一致性模型」(Consistency Models)論文,嘗試用一到兩步計算完成影像生成。傳統擴散模型需要數十至上千步去噪,而新模型能在單步內搞定生成、上色或超分,速度快一個數量級。雖然初期畫質較粗糙,但為手機端側執行和即時生圖打開了新方向。
據 Semafor 報道,開源影像模型 Stable Diffusion 背後的初創公司 Stability AI 燒錢速度驚人且缺乏盈利路徑,陷入嚴重財務困境。公司去年融到的 1 億美元已所剩無幾,原本衝刺 40 億美元估值的新一輪融資也已動搖。在 Midjourney 等對手的擠壓下,開源明星公司的商業化顯得格外艱難。
Midjourney 宣佈暫停免費試用。CEO David Holz 透露,大量使用者註冊臨時賬號刷圖,恰逢 GPU 短缺,甚至影響了付費使用者體驗;這並非因為近期川普等深度偽造圖瘋傳。團隊正在重新設計驗證機制以防濫用。
Apple 研究團隊公佈生成框架 FaceLit。它無需人工標註或複雜採集裝置,直接從普通 2D 影像學習生成 3D 人臉,並結合反射模型實現自由調節光照與視角,在 FFHQ 資料集上創下 3.5 的 FID 成績。
Canva 在 Canva Create 上推出一系列 AI 功能。基於 OpenAI 技術的 Magic Design 能根據單張圖片或簡單描述自動生成成套模版與簡報初稿,同時上線了支援區域性擦除替換的 Magic Edit,文生圖解析度也提升了 16 倍。
Microsoft 宣佈將影像生成功能 Bing Image Creator 引入新版 Bing 預覽版與 Edge 瀏覽器。它基於 OpenAI 的 DALL∙E 模型,在聊天創意模式下輸入文字描述即可生成圖片。目前向預覽使用者開放英文版,Edge 側邊欄及獨立網頁均已同步上線。
Adobe 推出面向創意的生成式 AI 模型集 Adobe Firefly,首批支援影像生成和文字特效。模型全部使用 Adobe Stock 授權內容與公有領域資源訓練,主打商業安全,目前已開啟測試並計劃深度整合至 Creative Cloud 等工作流。
Stability AI 宣佈推出 Stable Diffusion Reimagine。這是 Clipdrop 上的新工具,使用者不需要寫複雜提示詞,上傳一張圖片即可生成無限張細節和構圖不同的變體。它用影像編碼器取代了文本編碼器,不會複用原圖的任何畫素,模型後續還將開源。
美國版權局在《聯邦公報》釋出新指南,明確僅靠文本提示詞生成的 AI 影像不受版權保護。官方認為,輸入提示詞就像客戶給畫師提需求,最終創作是由機器完成的。不過,若作品包含人類的實質編排或文本設計,仍保留按個案獲得保護的可能。
Midjourney 宣佈推出同名紙質月刊,訂閱費每月 4 美元。雜誌每期從社群評分最高的作品中精選圖片,附帶對應的提示詞以及創作者訪談。儘管數字影像在網上隨處可見,團隊仍希望用這本實體刊物紀念社群的想像力。
The Sandbox 宣佈與 Scenario 合作,探索用生成式 AI 輔助元宇宙創作。團隊正引入 AI 製作動作並加速原型設計,將耗時從數週壓到幾分鐘。最關鍵的是,生成的資產仍將通過區塊鏈確權給創作者。
微軟將多模態視覺模型 Florence 引入 Azure 認知服務開放預覽,Reddit 將利用該 API 為圖片自動生成無障礙替代文本。Florence 基於數十億圖文對訓練,單圖最多可打上萬個標籤,還支援影片摘要與摳圖;目前僅面向 Azure 現有客戶開放預覽。
Stability AI 宣佈收購熱門影像工具 Clipdrop 的開發商 Init ML,完成其首筆併購。Init ML 擁有超 1500 萬用戶,收購後將作為全資獨立子公司運營且全員留任。Stability AI 計劃把最新的開源生成式模型無縫接入 Clipdrop 工作流。
據彭博社 3 月報道,Stable Diffusion 母公司 Stability AI 正與投資者接洽,計劃以約 40 億美元估值進行新一輪融資。該公司去年 10 月剛以 10 億美元估值完成 1.01 億美元融資,目前融資金額未定,最終估值仍可能有變。
高通展示在智慧手機上本地執行 Stable Diffusion 1.5,搭載驍龍 8 Gen 2 晶片,在 15 秒內生成一張 512×512 畫素影像,創下手機本地執行速度紀錄。相比依賴雲端,本地執行無需聯網且更有利於隱私,不過該最佳化目前僅為技術演示,尚未公開發布。
美國版權局重新審查後判定,漫畫《黎明的扎利亞》中由 Midjourney 生成的配圖不具備「人類作者身份」,取消其影像版權保護。不過,作者編寫的文字以及整體畫面的編排、選擇仍受保護。官方認為使用者無法完全預測 AI 輸出結果,提示詞和輕微後期不足以構成版權法所要求的創造性。
可口可樂宣佈與 OpenAI 及貝恩諮詢達成合作,將 ChatGPT 和 DALL-E 引入營銷體系,用來製作定製廣告文案與影像。可口可樂是首家加入貝恩與 OpenAI 聯盟的消費品巨頭,意在用生成式 AI 提升本地化營銷與運營效率。
Roblox 宣佈正在測試兩項生成式 AI 工具,允許創作者通過輸入文字直接生成 3D 材質和可用程式碼。這項功能旨在抹平程式設計與建模的技術門檻,讓新手也能輕鬆搭建虛擬世界。兩項功能預計在未來幾週內向 Roblox Studio 開發者推出。