解讀 NVIDIA GauGAN2:畫筆塗鴉加文字,拼出逼真自然風景
NVIDIA 研究部門打造的 GauGAN2 支援將草圖塗鴉與文字提示結合,生成逼真自然風景。它在 1000 萬張風景圖上訓練,允許用分割圖、畫筆和橡皮擦精細調整山川河流。雖然操作介面略像復古畫圖工具,但很適合快速出分鏡和概念草圖。
NVIDIA 研究部門打造的 GauGAN2 支援將草圖塗鴉與文字提示結合,生成逼真自然風景。它在 1000 萬張風景圖上訓練,允許用分割圖、畫筆和橡皮擦精細調整山川河流。雖然操作介面略像復古畫圖工具,但很適合快速出分鏡和概念草圖。
《Sarah's Scribbles》作者 Sarah Andersen 發文講述自身遭遇。繼作品曾遭惡意篡改後,10 月她發現別人僅用其名字當提示詞,AI 幾秒內就能仿造出她的畫風。她直言這抹去了藝術中凝結的人性,帶來強烈的被侵犯感。
初創公司 Poly 推出面向設計師的生成式 AI 工具。使用者輸入提示詞或參考圖,即可生成帶法線貼圖的 3D 紋理素材。團隊已在 9 月獲得 Y Combinator 等機構的 390 萬美元投資,平臺累計生成超過 200 萬張紋理。
Medium 刊文探討 AI 生成藝術的現狀與挑戰。文章指出,AI 無法複製人類的獨特性,更適合作為拓寬創意思維與實驗風格的輔助工具,而非替代藝術家的對手;面對效率衝擊與缺乏情感深度的擔憂,關鍵在於保持理性並探索人機協作的邊界。
Picsart 宣佈推出全新生成式 AI 功能 AI Avatar。使用者在應用中上傳多張自拍,就能生成動漫、超級英雄等多種藝術風格的個性化肖像,並能結合平臺現有的摳圖、畫質增強工具繼續進行二次編輯。
布萊根婦女醫院與博阿齊奇大學團隊在《Nature Biomedical Engineering》發表深度學習模型,能將手術中快速冷凍切片的影像轉化為接近「金標準」的高質量影像。這項技術能幫病理醫生在幾分鐘內更準確地鑑別膠質瘤和肺癌等亞型。不過入駐手術室前仍需臨床驗證。
VentureBeat 發文分析深度學習對元宇宙的核心推動作用。從眼球追蹤、3D 重建到 Meta 的即時語音翻譯,深度神經網路正在補齊虛擬世界的基礎互動;更關鍵的是,生成式聊天機器人讓虛擬品牌代表擺脫死板指令碼,實現更自然的即時對話。
盤點了支撐當下影像生成 AI 的核心技術擴散模型的發展歷程。擴散模型借鑑非平衡熱力學,通過學習從噪聲中恢復資料的逆過程,並在 OpenAI CLIP 的指引下實現精準生成。除了畫畫,該架構正快速擴充套件至音樂創作以及蛋白質和 DNA 序列設計等生物醫療領域。
眾籌平臺 Kickstarter 關停了 AI 成人內容專案 Unstable Diffusion 的籌款活動。該專案原計劃籌資訓練無審查影像模型,已從 867 人處籌得超 5.6 萬美元,款項將全部退還。Kickstarter 表示正重新評估涉及版權與潛在傷害的 AI 專案規則。
OpenAI 推出 3D 生成系統 Point-E,僅靠單張 GPU 數分鐘就能生成簡單的 3D 物體。它先用文生圖模型生成單視角影像,再用第二個擴散模型生成 3D 點雲,速度比同類 AI 快一到兩個數量級。
12 月,創作者「Stelfie」利用 Stable Diffusion 和 DreamBooth 製作了一組逼真的「時空穿越自拍」。他把同一個虛構角色放進古埃及、冰河世紀與達芬奇畫室等場景,展現了用 AI 微調維持角色一致性並進行連貫視覺敘事的新玩法。
簡報工具 Tome 上線 AI 創作功能。軟體接入 GPT-3 與 DALL-E 2,輸入主題即可自動生成包含文字大綱與配圖的幻燈片初稿,插圖支援換提示詞重繪。目前該功能處於測試期且免費開放,後續將支援複雜圖表排版並引入收費方案。
Reface 執行長在《福布斯》撰文,分析生成式 AI 對藝術創作與商業的衝擊。從 DreamStudio 首月破百萬使用者到設計工具全面接入,AI 正在顛覆內容生產。他建議企業積極把 AI 工具嵌入產品,將普通使用者轉化為創作者。
斯坦福大學 AIMI 研究人員通過微調開源 Stable Diffusion,成功生成了具備病變特徵的逼真胸部 X 光片。研究證明通用潛擴散模型無需昂貴算力即可遷移到專業醫學領域,有助於填補罕見病資料缺口。不過目前生成影像多樣性有限,且協議禁止直接用於診斷。
Stable Diffusion 2.0 正式釋出,最大看點是新增 depth2img 功能。該功能利用 MiDaS 演算法根據 2D 圖推算深度圖,生成時能嚴格保留主體的 3D 幾何結構。這意味著 3D 創作者只要搭個簡單灰盒,就能直接用 AI 快速探索材質與光影方案。
Text-CAD 將自然語言建模與硬體製造全流程打通。它打包了 11 個工程技能,支援從文本生成 STEP、檢索 step.parts 超 1.6 萬個開源標準件,並直連本地拓竹印表機切片。最值得關注的是它讓模型寫 Python 程式碼而非直接輸出二進位制,把不可控生成變成了可核驗工序。