跳到正文
IFAI

大模型

商湯釋出日日新 5.0:支援 20 萬上下文,主打端雲協同矩陣

首次發布 傳播指數 46

SenseTime 在上海技術交流日釋出 SenseNova 5.0 大模型及端側產品矩陣。新模型訓練資料超 10TB token,支援約 20 萬有效上下文,在多模態基準 MMBench 上獲綜合第一。同時推出的端側模型在旗艦平臺每秒可生成 78.3 字。

商湯釋出日日新 5.0:支援 20 萬上下文,主打端雲協同矩陣
圖:prnewswire.com

大家都在聊雲端萬億大模型的時候,商湯把算盤打到了你的手機和工位上的主機裡。

商湯科技在上海的技術交流日上正式釋出日日新 5.0(SenseNova 5.0)。自 2023 年 4 月釋出第一版以來,這已經是日日新大模型的第五次迭代。商湯董事長兼 CEO 徐立表示,模型依然遵循尺度定律,基於知識、推理和執行的三層架構來構建。

訓了 10TB Token,上下文拉到 20 萬

日日新 5.0 採用了混合專家架構,也就是大家熟悉的 MoE。整個訓練過程吃下了超過 10TB Token 的資料,其中包含了大量合成數據。

在推理階段,它的有效上下文視窗覆蓋達到了約 20 萬。商湯重點拔高了它在知識、數學、推理和程式碼上的表現,用來應對金融、資料分析等對準確度要求極高的高價值場景。

多模態能力也是這次的更新重心。日日新 5.0 不僅能解析高解析度圖片、做圖文互答,還能跨多個文件提取複雜資料並完成彙總。在權威多模態基準 MMBench 上,它的綜合得分拿下了第一,同時在 MathVista、AI2D 和 ChartQA 榜單上也排在前列。

商湯還在現場秀了一把文生影片能力。使用者輸入幾句話就能生成一段影片,而且可以預設人物的服裝、髮型和場景,保持畫面風格連貫,目前這項能力正在排隊上線。

把大模型塞進手機和一體機

相比雲端引數的堆疊,商湯這次端出的「端雲全棧」產品矩陣更接地氣,直接把大模型塞進了終端裝置。

在端側大語言模型上,商湯在中端平臺上跑出了每秒 18.3 詞的速度,而在旗艦平臺上,生成速度直接飆到了每秒 78.3 詞。

端側影像擴散模型表現同樣紮實。商湯的端側 LDM 技術在主流平臺上的推理時間壓縮到了 1.5 秒以內,能直接生成 1200 萬畫素以上的高畫質影像,還順帶支援等比擴圖、自由擴圖和旋轉擴圖。

針對金融、醫療和政務這些對資料敏感的行業,商湯推出了企業級大模型一體機。官方資料顯示,這款裝置只用 50% 的 CPU 佔用率就能完成加速搜尋,整體推理成本降低了大約 80%。

商業落地上,金山辦公把商湯大模型接入了 WPS 365 辦公平臺,海通證券用它跑智慧投顧與風控,剛剛釋出的小米 SU7 智慧座艙裡,也用上了商湯的技術。

為什麼重要

我們認為,商湯在日日新 5.0 上最聰明的策略,不是去跟同行硬捲雲端基準跑分,而是把寶押在了「端側落地」和「行業私有化」上。

對於開發者和企業來說,雲端調 API 固然簡單,但昂貴的 Token 賬單和資料安全隱患一直是一塊心病。商湯給出的一體機把推理成本砍掉八成,端側模型在旗艦機上能跑到每秒近 80 詞,這意味著很多低延遲、高隱私的互動場景,完全可以脫離雲端獨立執行。

把模型塞進小米 SU7 和 WPS,看起來商湯已經找到了清晰的變現抓手。不過,端側硬體的算力和發熱限制始終是道坎,如何在有限的晶片資源下持續平衡模型精度與續航,依然需要市場檢驗。

來源 (1)

  1. [1]
    prnewswire.com(在新分頁開啟)原文prnewswire.com

每日 AI 內容精選