跳到正文
IFAI

AIGC

UniGeo 帶來相機可控影像編輯:輸入精確角度,自由平移俯仰視角

首次發布 傳播指數 41

研究團隊提出相機可控影像編輯框架 UniGeo。它能將單張圖片轉為 3D 幾何表徵,支援使用者通過輸入精確角度來平移或俯仰鏡頭,重新渲染新視角。這解決了普通影像生成工具難以精準運鏡且容易變形的問題,相關模型即將推出。

UniGeo 帶來相機可控影像編輯:輸入精確角度,自由平移俯仰視角
圖:arxiv.org

如果你試過讓生成式 AI「把視角往旁邊挪一點」,大機率會遇到災難現場。

在很多主流影像工具裡,輸入「相機向右偏 30 度」,模型往往不是在移動機位,而是在憑空重新畫一張圖。原圖裡的杯子可能變了形狀,背景裡的建築物可能直接多出一扇窗戶,完全無法保持空間結構一致。

研究團隊提出了一個名為 UniGeo 的相機可控影像編輯框架,專門解決這個頑疾。它能把一張普通的 2D 照片解析成 3D 空間,讓你像在 3D 建模軟體裡調機位一樣,用具體數字去運鏡。

像調三腳架一樣編輯圖片

UniGeo 的核心能力是精確定量控制。

它不再依賴模糊的文字描述,而是允許你輸入明確的位移和角度引數。你可以讓相機在三維空間中自由平移、俯仰或旋轉,鏡頭甚至不需要固定在物體中心。

更實用的是,這些運鏡指令可以無縫串聯。比如你可以讓它「先向左平移 16 度,再向上傾斜 7 度」,模型會沿著這組相機軌跡,精準重新渲染出對應的目標視角。

相比 Nano Banana 或 GPT Image 2 等普通影像編輯工具,這種基於精確角度的操控感完全是另一個維度的體驗。

用影片模型解決畫面崩塌

為什麼以前的 AI 工具做不好相機視角切換?

論文指出,以往的方法大多依賴影像擴散模型,視角轉換是在離散的切片之間生硬跳躍。而且它們的幾何引導非常零散,一旦機位連續移動,畫面很容易出現幾何漂移,結構直接崩壞。

UniGeo 換了一條路線,它選擇藉助影片生成模型的連續視點先驗,並在三個層面補齊了統一的幾何引導。

在表示層,它把輸入圖片重建成 3D 點雲幾何表徵,並通過解耦機制注入參考資訊;在架構層,它設計了專門的幾何錨點注意力機制,用來對齊不同視角下的特徵;在損失函式層,它引入了軌跡終點的幾何監督,強行卡死目標視角的結構保真度。

在多個公開基準測試裡,無論是小幅度微調還是大幅度運鏡,UniGeo 的畫面質量和空間一致性都明顯拉開了與現有方案的差距。目前團隊已經在專案主頁標明模型即將推出,後續很可能會開放開源權重。

為什麼重要

對於創作者、電商賣家以及 3D 資產開發者來說,這套工具直擊痛點。拍了一張完美的商品圖或場景概念圖,但客戶要求「換個俯視視角」或「轉到側面看看」,以往可能得進三維軟體重搭模型,或者重新抽卡碰運氣;UniGeo 把它變成了幾行數字運鏡指令。

從技術演進上看,它代表了影像生成向可控 3D 空間演進的關鍵一步。單純拼畫質和寫實度的時代正在過去,未來的比拼在於誰能讓使用者獲得確定性的控制權。UniGeo 聰明的地方在於沒有硬造一套複雜的全新生成器,而是把影片模型的平滑連續性與 3D 點雲的幾何硬約束擰在了一起。

不過在我們看來,它也存在現實考量。點雲重建加上影片模型的推理鏈路,對計算資源的要求註定不低;同時在面對被嚴重遮擋的死角時,大角度運鏡能否補全出令人信服的細節,還得等模型真正開放下載後在實際複雜場景中檢驗。

來源 (1)

  1. [1]

每日 AI 內容精選