跳到正文
IFAI

AI工具

Nvidia 釋出個人 AI 超級電腦 Project Digits:單臺能跑 2000 億引數模型

首次發布 傳播指數 52

CES 2025 期間,Nvidia 釋出了桌面級個人 AI 超級計算機 Project Digits。它搭載與聯發科合作研發的 GB10 晶片和 128GB 記憶體,單臺即可在本地執行 2000 億引數模型,兩臺串聯可擴充套件至 4050 億引數。裝置執行 DGX OS,5 月開售,定價 3000 美元。

Nvidia 釋出個人 AI 超級電腦 Project Digits:單臺能跑 2000 億引數模型
圖:techcrunch.com

以前想在本地跑個真正的大模型,要麼得花幾十萬買多卡伺服器,要麼得忍受雲端昂貴的租卡賬單和網路延遲。

在 CES 2025 上,黃仁勳拿出了一個長得挺像 Mac Mini 的黑色小盒子。Nvidia 把它叫做 Project Digits,定位是一臺「個人 AI 超級計算機」。

這臺裝置起售價 3000 美元,預計 5 月開售,它的目標很簡單:讓你在書桌上插上普通家用插座,就能跑起動輒幾百億甚至上千億引數的模型。

桌面上的低功耗小怪獸

別看它體積小,裡面的核心是 Nvidia 全新的 GB10 Grace Blackwell 超級晶片。

這顆晶片是 Nvidia 聯手聯發科一起打磨出來的,把一塊 Blackwell 架構 GPU 和一顆 20 核的 Arm 架構 Grace CPU 塞在一起,中間走的是高速的 NVLink-C2C 互連技術。

它塞進了 128GB 的統一記憶體和最高 4TB 的快閃記憶體,在 FP4 精度下能爆發出每秒 1000 萬億次(1 Petaflop)的計算能力。

說白了,以前需要塞滿整個機架、耗電驚人的大裝置,現在靠著更先進製程和精度壓縮,變成了桌面上一個小小的靜音盒子。

單機跑 200B,兩臺拼出 405B

引數再好看,大家最關心的還是能跑什麼級別的模型。

Nvidia 表示,單臺 Project Digits 可以直接執行 2000 億引數(200B)規模的模型,用來做原型設計、推理或者小規模微調完全夠用。

如果你覺得不夠,比如想啃下 Meta 開源的 Llama 3.1 405B 這種龐然大物,還可以把兩臺 Digits 串聯起來,直接拉滿 4050 億引數。

這臺裝置預裝了基於 Linux 的 DGX OS,吃的是整套 Nvidia AI 軟體棧,PyTorch、Python、Jupyter 以及 NeMo 框架開箱即用。你既可以把它當作獨立工作站,也能把它連在現有的 Windows 或 Mac 電腦上當算力副機。

為什麼重要

對於個人開發者、高校實驗室和小型 AI 團隊來說,Project Digits 提供了一個過去幾乎不存在的中間選項。

3000 美元確實不算便宜,但比起在公有云上長期租卡、擔心資料洩露,或者自己攢一套吵鬧又費電的四卡 4090 主機,這臺機器在體積、功耗和軟體適配上的優勢非常明顯。如果你平時需要頻繁微調中等規模模型,或者在本地跑敏感程式碼,它的回本週期其實很快。

在行業層面,這看起來是 Nvidia 鞏固自身護城河的又一步妙棋。通過聯發科的能效設計,Nvidia 把頂級的 Grace Blackwell 架構搬到了桌面端,讓開發者在本地寫的程式碼,可以一鍵無縫推送到雲端資料中心。這種軟硬體的強繫結,會讓競爭對手更難把開發者從 CUDA 生態中撬走。

不過隱患也不是沒有。FP4 精度雖然速度快、省記憶體,但在複雜的長文本或數學推理任務中,會不會犧牲模型表現,還要等 5 月真機上手才能見分曉。另外,128GB 記憶體跑 200B 模型基本把視訊記憶體吃滿了,留給長上下文和併發的空間有多大,也是潛在的瓶頸。

來源 (2)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com
  2. [2]
    theverge.com(在新分頁開啟)報導theverge.com

每日 AI 內容精選