Taalas 推出 HC1 晶片：將模型刻進硬體，每秒輸出 17000 token

平時我們和 AI 對話，螢幕上的字往往是一個詞一個詞往外蹦，遇到長回答還得等游標慢慢挪。但如果 AI 生成一整本書的大綱只需要 0.06 秒呢？

晶片初創公司 Taalas 推出了一款專用的 AI 加速晶片 HC1。它做了一件非常激進的事：直接把開源大模型 Llama 3.1 8B「硬編碼」進了矽片裡，讓模型直接住進硬體內部。

這顆晶片交出的成績單很嚇人：推理速度最高達到每秒 17000 個 token。據稱這個速度大約是輝達頂級加速卡 B200 的 40 倍，也把 Cerebras 和 Groq 甩在身後。不僅如此，Taalas 稱其製造成本僅有傳統方案的二十分之一，功耗降到了十分之一。

拆掉記憶體與計算之間的牆

現在的 GPU 或 AI 加速卡之所以在跑大模型時感到吃力，根本瓶頸通常不在算力，而在記憶體頻寬。傳統的晶片結構是一邊放記憶體，一邊放計算單元，模型運算時資料必須在兩端來回搬運，造成了巨大的延遲和能耗損耗。

Taalas 的做法是存算一體。HC1 在單顆晶片上以 DRAM 級別的密度將儲存和計算完全融合，消除了軟硬體之間的隔層和資料傳輸延遲。

從硬體規格來看，HC1 採用台積電 6nm 工藝製造，晶片面積達到 815 平方毫米，內部集成了 530 億個電晶體。它並不是給手機或隨身裝置準備的，而是面向 2.5kW 的伺服器機架設計。

極速生成的代價是「專芯專用」

Taalas 已經在官網上線了實機 demo。在實際測試中，問一句簡單的數學題，輸出速度能衝到每秒 19997 個 token；面對常規提問，速率也穩定在 15000 到 16000 token 左右。讓它寫一本關於生命意義的 14 章書大綱，只花了 0.064 秒就全部吐完。

但這種極致效能付出的代價同樣顯而易見：它只能跑硬編碼進去的這顆模型。雖然官方表示它保留了一定靈活性，允許調整上下文視窗大小，並支援通過 LoRA 進行微調，但你沒法讓它去跑 DeepSeek 或者通義千問。

此外，Llama 3.1 8B 本身只是一箇中輕量級模型，回答並不能保證每次都準確。按照 Taalas 的路線圖，他們計劃在第二季度推出一款針對中型推理模型的 HC1 衍生晶片，第二代架構 HC2 則預計在今年年底開始部署。

為什麼重要

對於需要高頻呼叫 AI 的開發者和企業來說，HC1 展現了一個極其誘人的場景：AI 互動徹底擺脫了等待感。當生成速度達到每秒上萬 token 時，語音互動甚至即時推演都能做到像人類思維一樣順暢，不必再忍受打字機式的卡頓。

但在行業層面，這種「模型即晶片」的專用化路線對通用硬體構成了奇特的挑戰。輝達構築的 CUDA 生態靠的是通用性和軟體生態，而 Taalas 則是把軟體徹底做死在硬體裡。如果底層模型演算法每年都在劇烈重構，專芯專用的晶圓流片成本和生命週期就會承受巨大考驗。

我們認為，Taalas 的嘗試是一次大膽的工程降維打擊。它證明了在特定模型結構相對收斂的前提下，專用矽片能把推理效率壓榨到令人難以置信的極限。在語音機器人、客服閘道器這類需要極高併發、低延遲的成熟落地場景中，這種專用晶片很可能會成為吞噬通用算力份額的價效比怪獸。