CubeComposer:把普通影片擴充套件成 360 度全景,還支援 4K
研究員開源全景影片模型 CubeComposer,能把單臺相機拍攝的普通影片轉化為 360 度全景影片,並支援 4K 增強。它通過擴散模型拆解球體的六個面,用稀疏注意力機制補全鏡頭背後的畫面,整體質量超過 Argus。不過目前背後的腦補畫面仍有些許畸變。
CubeComposer 能把單臺普通相機拍出的平視影片直接擴成 360 度全景影片,還支援 4K 增強。你只要給它一段單一視角的素材,它就能把鏡頭背後原本拍不到的整個場景補齊。
它是怎麼把死角補出來的
CubeComposer 基於擴散模型,把 360 度球體空間拆解成立方體的六個面。為了讓各個角度銜接順暢,它用稀疏注意力機制搭了一個上下文池,一邊參考前後幀,一邊對照相鄰的立方體面,保證過渡自然。
這樣一來,即使是完全靠演算法腦補出來的背後畫面,也能跟原有鏡頭平滑接上。儘管目前補出來的區域還能看出少許畸變,但整體畫質和穩定性已經明顯壓過了 Argus 等同類工具。專案主頁在 lg-li.github.io/project/cubec。
為什麼重要
對於做 VR、沉浸式內容或者空間影片的創作者來說,這相當於能把手頭現有的單視角素材低成本盤活成全景資產。它和 Argus 相比生成質量更好,不過生成區域的邊緣畸變還沒完全解決,更適合拿來做背景填充或概念原型測試。
來源 (2)
- lg-li.github.io(在新分頁開啟)原文lg-li.github.io
- @aisearchio(在新分頁開啟)討論x.com