Taalas 推出 HC1 芯片：将模型刻进硬件，每秒输出 17000 token

平时我们和 AI 对话，屏幕上的字往往是一个词一个词往外蹦，遇到长回答还得等光标慢慢挪。但如果 AI 生成一整本书的大纲只需要 0.06 秒呢？

芯片初创公司 Taalas 推出了一款专用的 AI 加速芯片 HC1。它做了一件非常激进的事：直接把开源大模型 Llama 3.1 8B「硬编码」进了硅片里，让模型直接住进硬件内部。

这颗芯片交出的成绩单很吓人：推理速度最高达到每秒 17000 个 token。据称这个速度大约是英伟达顶级加速卡 B200 的 40 倍，也把 Cerebras 和 Groq 甩在身后。不仅如此，Taalas 称其制造成本仅有传统方案的二十分之一，功耗降到了十分之一。

拆掉内存与计算之间的墙

现在的 GPU 或 AI 加速卡之所以在跑大模型时感到吃力，根本瓶颈通常不在算力，而在内存带宽。传统的芯片结构是一边放内存，一边放计算单元，模型运算时数据必须在两端来回搬运，造成了巨大的延迟和能耗损耗。

Taalas 的做法是存算一体。HC1 在单颗芯片上以 DRAM 级别的密度将存储和计算完全融合，消除了软硬件之间的隔层和数据传输延迟。

从硬件规格来看，HC1 采用台积电 6nm 工艺制造，芯片面积达到 815 平方毫米，内部集成了 530 亿个晶体管。它并不是给手机或随身设备准备的，而是面向 2.5kW 的服务器机架设计。

极速生成的代价是「专芯专用」

Taalas 已经在官网上线了实机 demo。在实际测试中，问一句简单的数学题，输出速度能冲到每秒 19997 个 token；面对常规提问，速率也稳定在 15000 到 16000 token 左右。让它写一本关于生命意义的 14 章书大纲，只花了 0.064 秒就全部吐完。

但这种极致性能付出的代价同样显而易见：它只能跑硬编码进去的这颗模型。虽然官方表示它保留了一定灵活性，允许调整上下文窗口大小，并支持通过 LoRA 进行微调，但你没法让它去跑 DeepSeek 或者通义千问。

此外，Llama 3.1 8B 本身只是一个中轻量级模型，回答并不能保证每次都准确。按照 Taalas 的路线图，他们计划在第二季度推出一款针对中型推理模型的 HC1 衍生芯片，第二代架构 HC2 则预计在今年年底开始部署。

为什么重要

对于需要高频调用 AI 的开发者和企业来说，HC1 展现了一个极其诱人的场景：AI 交互彻底摆脱了等待感。当生成速度达到每秒上万 token 时，语音交互甚至实时推演都能做到像人类思维一样顺畅，不必再忍受打字机式的卡顿。

但在行业层面，这种「模型即芯片」的专用化路线对通用硬件构成了奇特的挑战。英伟达构筑的 CUDA 生态靠的是通用性和软件生态，而 Taalas 则是把软件彻底做死在硬件里。如果底层模型算法每年都在剧烈重构，专芯专用的晶圆流片成本和生命周期就会承受巨大考验。

我们认为，Taalas 的尝试是一次大胆的工程降维打击。它证明了在特定模型结构相对收敛的前提下，专用硅片能把推理效率压榨到令人难以置信的极限。在语音机器人、客服网关这类需要极高并发、低延迟的成熟落地场景中，这种专用芯片很可能会成为吞噬通用算力份额的性价比怪兽。