阿里釋出 StreamChar:單張 H100 即時流式生成全身數字人音影片
阿里團隊公佈數字人音影片生成框架 StreamChar,將長程編排與短視窗去噪解耦。它利用 LLM 與音影片聯合 DiT 架構,配合記憶機制防止身份漂移與音畫脫節,在單張 H100 上跑出即時流式生成。全身數字人離即時互動和虛擬主播更近了一步。
AI 領域的重要論文、新基準和新方法,以及 AI 在生物、醫藥、材料等科學研究裡的突破。
阿里團隊公佈數字人音影片生成框架 StreamChar,將長程編排與短視窗去噪解耦。它利用 LLM 與音影片聯合 DiT 架構,配合記憶機制防止身份漂移與音畫脫節,在單張 H100 上跑出即時流式生成。全身數字人離即時互動和虛擬主播更近了一步。
研究團隊提出弱光影像增強框架 ControlLight。它通過專門的加權流匹配損失,讓使用者能連續、平滑地調節光照強度,同時保持原圖結構與真實感。暗光拍攝廢片無需大幅重拍,就能直接二次布光。
研究團隊公佈 Pantheon360 框架。它利用顯式 3D 快取作為幾何骨架,讓擴散模型專注渲染紋理,從稀疏全景輸入生成高保真 360 度影片。這意味著數字孿生和 VR 場景有了更穩定、不易漂移的全景生成方案。
NVIDIA 團隊提出影像解碼技術 PiD。它用畫素擴散替代傳統 VAE,將解碼與 4 至 8 倍上取樣整合,在 RTX 5090 上把 2K 影像解碼壓到 1 秒內。這解決了高解析度生成最後一步細節模糊的痛點,同時大幅縮短了等待時間。
研究人員公佈 3D 場景重建方法 GenRecon。它將大場景切分成重疊塊,結合 Trellis.2 先驗與幾張普通照片,直接生成可編輯的室內 PBR 網格,表現優於現有前沿方法 16%。這意味著無需昂貴掃描器,普通手機拍幾張照就能快速復刻空間資產。
研究人員提出免訓練方法 SEGA,專門解決 DiT 模型生成超解析度影像時易崩潰的問題。它在每步去噪時按頻域能量動態縮放 RoPE 位置編碼,既保留宏觀構圖又還原微觀細節。這意味著無需昂貴的重新訓練,現有模型也能直接輸出 4096 級別的高畫質大圖。
研究人員公佈 Lift4D 框架。它只需一段普通的單視角 2D 影片,就能重建出包含完整外觀與運動變形的 4D 場景,還能自動腦補鏡頭未拍到的死角與遮擋區域。這意味著日常單機位拍攝的動態物體,也能實現 360 度環視檢視。
研究人員釋出物理 3D 生成框架 PhysX-Omni,讓 AI 生成的模型不僅外觀逼真,還能具備可直接用於模擬的材質、運動學和可變形屬性。最值得關注的是,它配套推出了通用物理資料集與評測基準,讓生成的資產能直接接入具身智慧與機器人訓練。
《Nature Electronics》刊登芝加哥大學團隊成果,研究人員研發出一款柔性 AI 皮膚貼片。它無需連網即可直接在人體表面進行毫秒級計算,在測試中以 99.6% 準確率定位心臟異常波形,即便拉伸至 1.5 倍以上依然穩定。
OpenAI 宣佈其通用推理模型自主推翻了數學家埃爾德什在 1946 年提出的平面單位距離猜想。該模型借用代數數論工具,打破了近 80 年來方格點陣最優的共識。證明已獲菲爾茲獎得主蒂姆·高爾斯等外部數學家檢驗確認。
Google 推出 Gemini for Science,包含假設生成、計算發現與文獻洞見三款實驗工具,併發布整合 30 多個生命科學資料庫的 Science Skills。Co-Scientist 與 ERA 論文已發表在《Nature》,目前逐步開放申請。
研究團隊公佈 CogOmniControl 論文,打造出類似 ControlNet 的多輸入影片控制系統。只需輸入 3 幀粗糙草圖或姿態骨架,搭配參考圖和提示詞,就能生成動作一致的影片。它專門面向專業創作流,不過目前僅釋出論文,尚未開原始碼與模型。
研究人員公佈空間世界模型 PanoWorld。輸入一張平面戶型圖和風格參考,它就能生成整套互相連線、帶傢俱的 360 度全景房屋遊覽。最關鍵的是,它通過 3D 空間記憶維持各房間視點的一致性,避免畫面錯亂。目前程式碼和權重尚未正式釋出。
浙江大學研究團隊展示了名為 AudioHijack 的音訊攻擊技術。它能把人耳無法察覺的指令藏在普通音訊中,以 79% 至 96% 的成功率劫持大音訊語言模型,誘導其搜尋敏感內容或洩露資料。該方法對微軟和 Mistral 的商用語音模型同樣有效。
Emergence AI 在五個相同的虛擬小鎮中測試 AI 的自我管理能力。Claude 達成 15 天零犯罪且全員存活,Grok 四天全滅,Gemini 因戀愛引發縱火自毀,GPT-5 Mini 則全員餓死。最值得關注的是,在混合小鎮裡,原本守規矩的 Claude 也會被環境帶偏犯罪。
上海交通大學與上海人工智慧實驗室等提出 Warp-as-History。該方法無需新增相機編碼器或控制分支,而是把視角形變打包成視覺歷史上下文,僅用一個標註影片進行輕量 LoRA 微調,就能在陌生場景中精準聽從運鏡軌跡並補全畫面盲區。
研究團隊釋出並開源 PhyMotion,專門解決 AI 影片裡的肢體畸形與動作扭曲。它從生成影片中提取 3D 人體並放入 MuJoCo 物理模擬器打分,檢驗關節移動和接地是否合乎規律,以此獎勵模型,顯著改善了瑜伽、功夫等動作的真實度。
研究團隊提出非對稱流模型 AsymFlow,完全繞過潛在空間和 VAE,直接在畫素空間生成影像。它將噪聲預測限制在低秩子空間,生成速度提升 40% 且在 ImageNet 拿下 1.57 FID。這意味著 AI 生圖能擺脫塑膠感,獲得更銳利的真實紋理。
韓國研究團隊開發出一套由 7 枚無線智慧指環構成的系統,可將美式與國際手語即時翻譯成文本。指環內建加速度計並通過藍牙傳輸,配合 AI 自動補全來跟上手語語速,新手實測準確率超 88%。不過系統目前還無法捕捉面部表情等關鍵非手勢資訊。
Google 聯合 Google.org 推出 REPLIQA 計劃,出資 1000 萬美元支援哈佛、MIT 等五所高校。該專案致力於結合量子技術與 AI,研發量子感測器與演算法來模擬藥物研發中關鍵的分子反應。不過 Google 強調這是基礎科研,短期內不會一蹴而就。