Etched 釋出專用晶片 Sohu：號稱 Transformer 推理比 H100 快 20 倍

如果明天有人證明 Transformer 架構不是 AI 的終極答案，這家剛拿到鉅額融資的公司可能瞬間失去全部價值。

但這並不妨礙資本瘋狂下注。成立兩年的 AI 晶片初創公司 Etched 宣佈完成 1.2 億美元 A 輪融資，由 Primary Venture Partners 和 Positive Sum Ventures 領投。他們拿這筆錢要幹一件極度極端的事：造一款名為 Sohu 的專用晶片（ASIC），專門且只能用來跑 Transformer 架構模型。

焊死在矽片上的架構賭注

如今全球科技大廠搶破頭的 Nvidia GPU，本質上其實是通用處理器。它們既能跑大語言模型，也能處理卷積神經網路（CNN）或者狀態空間模型（SSM）。

Etched 覺得這種「什麼都能幹」的靈活性，在推理端純屬浪費成本。COO Robert Wachen 接受採訪時說得非常直接：只要你願意把 Transformer 架構直接「燒死」在矽片裡，就能換來整整一個數量級的效能提升。

按 Etched 的說法，Sohu 晶片在面對大模型推理時，效能可以達到 Nvidia H100 的 20 倍。在執行 Llama 70B 模型時，能夠跑出每秒 50 萬 token 的吞吐量；一臺裝有 8 顆 Sohu 晶片的伺服器，號稱可以替代 160 塊 H100。

這種吞吐能力的核心，在於超大併發處理。在執行類似 ChatGPT 這樣每秒面臨海量請求的聊天應用時，傳統 GPU 一旦把批處理量（batch size）從 32 拉到 64，效能往往就會明顯下滑。但 Etched 聲稱，Sohu 可以把批處理量拉到數千級別，且效能完全不衰減。

紙面怪獸與視訊記憶體瓶頸

不過，這些驚人數字目前還停留在理論和 FPGA 模擬階段。晶片甚至還沒有流片（tape out）。Wachen 雖然沒有透露具體交付時間表，但暗示首批晶片距離落地至少還需要不到兩年的時間。

除了流片風險，物理架構也有潛在軟肋。現在的推理瓶頸越來越取決於視訊記憶體頻寬和容量，而不是純算力。Sohu 配備了 6 顆堆疊的 144GB HBM3，據測算最大視訊記憶體頻寬大概在 4TB/s 左右。這個數字不僅追不上 Nvidia 的 H200 或 Blackwell，也落後於 AMD 的 MI300X。

一臺 8 卡 Sohu 伺服器總共也就約 1.1TB 視訊記憶體。當批處理量真被推到幾千時，KeyValue（KV）快取會吃掉海量空間，它到底能承載多大引數的模型，實際上還要打個問號。

為什麼重要

我們認為，Etched 的出現直擊了當前生成式 AI 落地最痛苦的軟肋：推理成本。大模型如果真要變成普及的水電煤，用昂貴且稀缺的通用 GPU 去扛千萬級併發，商業賬本根本算不過來。如果 Sohu 能兌現其成本和吞吐承諾，對每天需要處理幾億次對話的超大平臺來說，會是一劑極具吸引力的降本解藥。

但它的隱患也同樣致命。這是一家把公司全部身家性命押在單一技術路徑上的賭徒式做法。專用晶片沒有任何退路，一旦前沿學術界找到了超越 Transformer 的全新架構（比如某些混合狀態空間模型），Sohu 晶片就會一夜之間變成一堆毫無用處的沙子。在晶片還需近兩年才能問世的漫長週期裡，AI 演算法究竟會演進成什麼樣，誰也無法保證。