商湯開源 SenseNova 6.8 Code-to-Video:靠寫程式碼生成影片,單個元素隨意改
商湯開源 SenseNova 6.8 Code-to-Video。與傳統黑盒影片模型不同,它靠生成可執行程式碼來逐幀渲染動畫,可精細修改單個元素且不影響整體。該模型基於 Qwen3.8 27B 構建,完整體積約 55GB,需高階 GPU 執行。

用傳統影片生成模型做過片子的人,大概都體會過這種痛苦:影片裡其他地方都挺完美,偏偏螢幕右上角跳出了一行亂碼文字,或者某個小球的彈跳軌跡不太對。你想改掉它,唯一的辦法就是重新寫提示詞再抽一次卡,結果剛改好文字,原本好看的背景和光影又全變了。
商湯開源了 SenseNova 6.8 Code-to-Video,試圖換一種完全不同的思路來解這道題。它不靠擴散模型去猜畫素,而是自己寫出一段段可執行的程式碼,直接呼叫程式把每一幀畫面渲染出來。
像寫程式一樣做動效
說白了,SenseNova 6.8 Code-to-Video 的工作方式有點類似做數學動畫的 Manim 或者 HyperFrames。它把影片裡的每一個元素都變成了程式碼裡的具名物件,文字就是嚴謹排版的字串,物體運動和碰撞則交給具體的物理公式去算。
在它的邏輯裡,每一幀畫面都是時間 t 的純函式。這意味著只要程式碼確定,渲染出來的影片就分毫不差,絕不會出現文字亂碼或者物體憑空變形的問題。官方展示的 90 秒釋出短片以及一系列演示,包括機場復古翻頁看板、幾何動畫和教育講解片,全部都是由它寫程式碼渲染生成的。
這種機制最大的好處就是極度方便修改。比如生成好機場翻板動畫後,如果你覺得排版太素或者節奏偏慢,只需要像提需求一樣給一句反饋,模型就會在原本的程式碼工程上做定向修改。翻頁的機械結構、文字內容和原本留下的好設計都不會動,只調整你點名的那個部分。
55GB 的大塊頭,專為長輪次微調設計
不過,想在本地把這個工具跑起來,門檻可一點都不低。
商湯這套模型基於 Qwen3.8 27B 構建,完整模型權重達到了 55GB 左右,需要高階 GPU 才能順暢執行。好在商湯在 GitHub 專案主頁和 Hugging Face 上放出了完整的權重和基於 LightLLM 的部署指令碼,硬體過關的開發者可以直接拉取映象跑起來。
更值得一提的是它的工程底座。該模型原生支援 512K 的超長上下文,並且做了專門的上下文壓縮最佳化。因為做影片微調往往需要改很多輪,它能夠在持續超過 1000 輪的人機對話中保持記憶,不會改著改著就把前面的工程程式碼給忘了。
商湯還給它留了更大的野心。團隊表示,純程式碼渲染只是第一步,未來希望用程式碼作為通用介面,去呼叫文生圖、3D 建模甚至傳統影片大模型,把生成、剪輯與合成連成一條完整管線。由於程式碼渲染中每個物體的三維座標和相機視角都是確定的,它還能反過來為世界模型和 3D 重建提供完全精確的標註資料。
為什麼重要
我們認為,商湯這步棋走得非常聰明。現在的影片大模型都在卷寫實畫質、光影質感,但在動態圖形、教育科普和圖表視覺化這些極其嚴謹的場景下,擴散模型的黑盒幻覺始終是個致命傷。商業級設計需要的不是天馬行空的隨機性,而是畫素級的確定性和可控性。
對科普創作者和教育從業者來說,這類工具一旦成熟,做 Manim 類的高畫質公式講解影片門檻會斷崖式下降。但代價也很現實,55GB 的體量和高昂的視訊記憶體需求,註定它現在還是極客和開發團隊的玩具,普通小白短期內很難在自己的輕薄本上嚐鮮。
它也給整個影片生成行業指了一條新路。誰說生成影片一定要一條道走到黑全靠神經網路猜畫素?先用程式碼把運動軌跡、鏡頭排程和基礎圖形死死鎖住,再讓生成式模型在上面貼材質、補細節,這種複合架構看起來比單純指望大模型頓悟物理世界要靠譜得多。
來源 (2)
- github.com(在新分頁開啟)原文github.com
- youtube.com(在新分頁開啟)報導youtube.com