跳到正文
IFAI

開源專案

商湯開源 SenseNova U1:端到端連貫輸出圖文與複雜資訊圖

首次發布 傳播指數 48

商湯科技開源統一多模態模型 SenseNova U1。它採用自研架構完全拿掉視覺編碼器,端到端打通畫素與文本,能同時處理視覺推理、高難度資訊圖排版與圖文連續創作。不過在寫實肖像生成上,人物皮膚仍稍顯塑膠感。

商湯開源 SenseNova U1:端到端連貫輸出圖文與複雜資訊圖
圖:sensetime.com

以前想讓 AI 做一張帶完整文字說明的資訊圖,流程往往繁瑣得像條流水線:先用視覺模組看圖,再交給語言模型推理,最後排程另一個畫圖模型出圖。環節一多,文字容易打架,排版也經常變形。

商湯科技宣佈開源自研的端到端統一多模態模型 SenseNova U1。它最激進的地方,在於把這條流水線上的中間環節全拆了。

扔掉中間商,畫素直接對話語言

大多數多模態模型在底層其實是拼裝起來的,通常由獨立的視覺編碼器、語言大模型和影像生成模組通過適配層拼接。這種拼裝方案跨模組傳遞資訊時不僅開銷大,細節和語義也很容易丟失。

SenseNova U1 建立在商湯 3 月推出的 NEO-Unify 架構之上。它徹底拿掉了視覺編碼器和變分自編碼器,直接在單一模型內把畫素和文本打通,將理解、推理和生成收斂進同一個統一表徵空間。

這次開源的是輕量化的 SenseNova U1 Lite 系列,包含兩個版本:採用密集骨幹網路的 U1-8B-MoT,以及採用混合專家架構的 U1-A3B-MoT。商湯把它概括為「小尺寸,大能力」。

擅長排版和解謎,但人臉依然有塑膠感

架構徹底打通後,SenseNova U1 展現出了很不一樣的能力偏向。它最擅長的不是簡單的文生圖,而是極為複雜的圖文混排與結構化內容。

比如在製作複雜海報、中文多步驟說明圖(如製作果汁的教程)或者多面板資訊圖時,它不僅能精準渲染大量中英文字元,還能維持版面的工整與層級,表現接近頂級閉源商業模型。它還支援連續的圖文交錯創作,單次模型呼叫就能交替輸出文字說明與分鏡畫面。

在視覺推理和謎題解答上,SenseNova U1 也能直接分析影像邏輯。測試基準顯示,它在空間理解和視覺推理上不僅超過了 Nano Banana、GPT image 2,也領先於 Qwen 3.5、Gemma 4 以及 Zimage 和 Ernie 等開源模型。

不過它也並非沒有短板。如果拿它來生成寫實人物肖像,人物的皮膚質感往往偏塑膠感,看起來有些失真。如果你追求極致寫實的人像攝影質感,目前像 Flux Klein 或 Zimage 仍然是更合適的技術路線。此外,修改夾克顏色、改動表情這種常規編輯能力雖然健全,但也算不上它的專屬護城河。

為什麼重要

我們認為,SenseNova U1 最大的價值,在於為開源社群驗證了一條擺脫「模組拼接」的新路線。

對於需要頻繁製作海報、長圖文教程、說明書和分鏡指令碼的創作者或開發者來說,這款 8B 級別的模型非常值得一試。以前需要呼叫兩三個模型協同、還要寫大量膠水程式碼才能跑通的圖文生成任務,現在用一個緊湊的端到端模型就能單次出結果,部署和維護成本都降了一大截。

從行業競爭來看,過去一年裡多模態模型一直在靠外掛模組拼引數。商湯用一個 8B 體量的模型,在複雜資訊圖排版和多模態推理上逼近甚至反超部分閉源大傢伙,證明了原生統一架構的效率優勢。這種統一架構不僅簡化了文生圖的鏈條,也為具身智慧系統提供了一個將感知、推理與動作執行合為一體的潛在底座。

當然,端到端架構也意味著模型很難靠單點打補丁來掩蓋缺陷。它在寫實人像上的塑膠感,說明原生統一表徵在平衡細粒度真實質感與高層抽象排版時仍然面臨取捨。但總體而言,這一步走得相當乾脆,也讓小引數多模態模型的實用性向前邁了一大步。

來源 (1)

  1. [1]

每日 AI 內容精選