Martin Scorsese 出任 Black Forest Labs 顧問:用 FLUX 做分鏡
Black Forest Labs 宣佈知名導演 Martin Scorsese 擔任其顧問,協助指導以人類審美和工藝為核心的視覺 AI 研發。雙方還進行了使用影像生成模型 FLUX 製作故事板分鏡的實際創作合作。
Black Forest Labs 宣佈知名導演 Martin Scorsese 擔任其顧問,協助指導以人類審美和工藝為核心的視覺 AI 研發。雙方還進行了使用影像生成模型 FLUX 製作故事板分鏡的實際創作合作。
研究人員提出免訓練方法 SEGA,專門解決 DiT 模型生成超解析度影像時易崩潰的問題。它在每步去噪時按頻域能量動態縮放 RoPE 位置編碼,既保留宏觀構圖又還原微觀細節。這意味著無需昂貴的重新訓練,現有模型也能直接輸出 4096 級別的高畫質大圖。
位元組團隊提出空間獎勵建模框架,專門解決影像模型搞不清前後左右的問題。團隊構建了包含 8 萬多組正誤對比的資料集訓練獎勵模型,能有效指導 Flux 等模型擺對複雜物體的空間佈局。相關資料集與模型權重計劃公開。
據彭博社報道,Meta 與德國初創公司 Black Forest Labs 達成一項兩年 1.4 億美元的合作。Meta 首年將支付 3500 萬美元,次年支付 1.05 億美元,以獲取 Flux 模型的影像生成技術。繼聯手 Midjourney 後,Meta 再次斥巨資補齊視覺生成短板。
大模型評測平臺 lmarena.ai 推出 Image Arena 影像競技場。使用者輸入一段提示詞,系統會呼叫 FLUX、Stable Diffusion、DALL-E 等兩個匿名模型同時生成圖片,由使用者盲選投票決出勝負,官方排行榜也即將上線。
KREA AI 宣佈上線 Flux 影像提示詞功能。使用者現在可以在呼叫 Flux 模型生圖時引入參考圖片作為生成條件,以此引導畫面的構圖與風格。該功能目前直接面向所有使用者免費開放。
Black Forest Labs 釋出新一代生圖模型 Flux1.1 Pro 並推出測試版 API。新模型生成速度比前代快 6 倍,支援最高 2k 解析度,畫質與提示詞遵循度均有提升。開發者目前可通過官方 API 及 Replicate 等合作平臺接入呼叫。
上週,有愛好者在測試影像生成模型 Flux 時發現,通過訓練 LoRA 可以在生成的畫面中精準復現自定義字型。相比此前模型動輒把英文畫成亂碼,Flux 擅長渲染場景文字,讓使用者能在黑板招牌或名片上塞進指定字型。不過生成時偶爾仍會出現字母拼寫偏差。