Etched 发布专用芯片 Sohu：号称 Transformer 推理比 H100 快 20 倍

如果明天有人证明 Transformer 架构不是 AI 的终极答案，这家刚拿到巨额融资的公司可能瞬间失去全部价值。

但这并不妨碍资本疯狂下注。成立两年的 AI 芯片初创公司 Etched 宣布完成 1.2 亿美元 A 轮融资，由 Primary Venture Partners 和 Positive Sum Ventures 领投。他们拿这笔钱要干一件极度极端的事：造一款名为 Sohu 的专用芯片（ASIC），专门且只能用来跑 Transformer 架构模型。

焊死在硅片上的架构赌注

如今全球科技大厂抢破头的 Nvidia GPU，本质上其实是通用处理器。它们既能跑大语言模型，也能处理卷积神经网络（CNN）或者状态空间模型（SSM）。

Etched 觉得这种「什么都能干」的灵活性，在推理端纯属浪费成本。COO Robert Wachen 接受采访时说得非常直接：只要你愿意把 Transformer 架构直接「烧死」在硅片里，就能换来整整一个数量级的性能提升。

按 Etched 的说法，Sohu 芯片在面对大模型推理时，性能可以达到 Nvidia H100 的 20 倍。在运行 Llama 70B 模型时，能够跑出每秒 50 万 token 的吞吐量；一台装有 8 颗 Sohu 芯片的服务器，号称可以替代 160 块 H100。

这种吞吐能力的核心，在于超大并发处理。在运行类似 ChatGPT 这样每秒面临海量请求的聊天应用时，传统 GPU 一旦把批处理量（batch size）从 32 拉到 64，性能往往就会明显下滑。但 Etched 声称，Sohu 可以把批处理量拉到数千级别，且性能完全不衰减。

纸面怪兽与显存瓶颈

不过，这些惊人数字目前还停留在理论和 FPGA 仿真阶段。芯片甚至还没有流片（tape out）。Wachen 虽然没有透露具体交付时间表，但暗示首批芯片距离落地至少还需要不到两年的时间。

除了流片风险，物理架构也有潜在软肋。现在的推理瓶颈越来越取决于显存带宽和容量，而不是纯算力。Sohu 配备了 6 颗堆叠的 144GB HBM3，据测算最大显存带宽大概在 4TB/s 左右。这个数字不仅追不上 Nvidia 的 H200 或 Blackwell，也落后于 AMD 的 MI300X。

一台 8 卡 Sohu 服务器总共也就约 1.1TB 显存。当批处理量真被推到几千时，KeyValue（KV）缓存会吃掉海量空间，它到底能承载多大参数的模型，实际上还要打个问号。

为什么重要

我们认为，Etched 的出现直击了当前生成式 AI 落地最痛苦的软肋：推理成本。大模型如果真要变成普及的水电煤，用昂贵且稀缺的通用 GPU 去扛千万级并发，商业账本根本算不过来。如果 Sohu 能兑现其成本和吞吐承诺，对每天需要处理几亿次对话的超大平台来说，会是一剂极具吸引力的降本解药。

但它的隐患也同样致命。这是一家把公司全部身家性命押在单一技术路径上的赌徒式做法。专用芯片没有任何退路，一旦前沿学术界找到了超越 Transformer 的全新架构（比如某些混合状态空间模型），Sohu 芯片就会一夜之间变成一堆毫无用处的沙子。在芯片还需近两年才能问世的漫长周期里，AI 算法究竟会演进成什么样，谁也无法保证。