微軟 Azure ND H100 v5 虛擬機器上線：配 8 張 H100，OpenAI 服務擴至 5 區

現在的大模型軍備競賽，表面上看是比誰的模型更聰明，底下其實全在拼誰家的算力機房更能扛。

微軟宣佈 Azure ND H100 v5 虛擬機器系列正式商用，同時把 Azure OpenAI 服務擴充套件到了澳大利亞、加拿大、日本和英國等更多地區。

算力飢渴的大模型時代，微軟正在把全球雲基礎設施的發條擰到最緊。

單機八張 H100，底層網路全拉滿

這次正式上線的 ND H100 v5 虛擬機器，基本就是為了應對超大模型訓練和推理專門定製的怪獸。

每臺虛擬機器直接塞進 8 張輝達 H100 Tensor Core GPU，配合第四代英特爾至強可擴充套件處理器和 DDR5 記憶體。

GPU 之間走的是 PCIe Gen5，單卡頻寬給到 64GB/s。跨節點互聯則用上了輝達 Quantum-2 ConnectX-7 InfiniBand，單卡 400Gb/s，整機跨節點頻寬拉到了 3.2 Tb/s。

在資料吞吐上，新機器採用 8 位 FP8 浮點計算時，矩陣乘法速度比上一代 FP16 提速最高達 6 倍。

拿 BLOOM 175B 這樣的大語言模型做端到端推理測試，速度直接翻了一倍。

這批機器先在美國東部和美國中南部兩個區域開放。微軟透露，目前他們正在利用一個 4K GPU 叢集，並計劃在下一年內將最新的 GPU 規模擴充到數十萬張。

每天湧入百家企業，GPT-4 加速出海

除了底層硬體，上層的 Azure OpenAI 服務也在拼命鋪點。

這次新開服的區域包括澳大利亞東部、加拿大東部、美國東部 2、日本東部和英國南部，加上之前的美東、法國中部、美中南和西歐，覆蓋面大了一整圈。

區域鋪開的核心目的，就是讓更多海外企業在本地就能調到 GPT-4 和 GPT-35-Turbo，降低延遲，順便解決資料合規的問題。

微軟披露了一組挺驚人的資料：Azure OpenAI 服務的客戶量已經突破 11000 家，比上一次公佈時翻了將近兩倍。

在這個季度裡，平均每天都有大約 100 家新企業客戶接入。賓士在用車載系統做對話升級，畢馬威拿它寫程式碼和做自動化，自動駕駛公司 Wayve 則在用它的底層算力訓練基座模型。

為什麼重要

對企業和開發者來說，算力荒終於看到了一點緩解的曙光。

之前很多團隊排隊等不到 H100，或者只能跨洋呼叫美區介面忍受高延遲。現在無論是想包下整臺 H100 虛機訓私有模型，還是就近在本地呼叫合規的 GPT-4，門檻和網路代價都降下來了。

對雲服務市場來說，微軟這套組合拳打得很準。大模型爭霸拼到今天，單賣底層算力或者單賣模型 API 都不夠穩，微軟把輝達頂級硬體和 OpenAI 頂尖模型綁死在 Azure 底座上，直接切斷了對手不少截流的機會。

我們認為，微軟最聰明的做法在於把全球資料合規的痛點變成了自己的護城河。大企業用 AI 最怕資料出境，把 GPT-4 搬進日本、英國、加拿大本地節點，幾乎是逼著猶豫不決的傳統政企客戶立刻掏錢簽單。

不過隱患也明擺著：數十萬張 H100 的交付承諾和電網負荷，極其考驗微軟的供應鏈調配。一旦輝達產能打個噴嚏，或者本地資料中心配電跟不上，全球擴張的節奏隨時可能被卡脖子。