Taalas 推出 HC1 晶片:將模型刻進硬體,每秒輸出 17000 token
Taalas 推出專用 AI 晶片 HC1,把 Llama 3.1 8B 直接硬編碼進矽片。其輸出速度高達每秒 17000 token,據稱達到輝達 B200 的 40 倍,且功耗降至十分之一。存算一體消除了記憶體瓶頸,不過它專芯專用,無法換跑其他模型。
Taalas 推出專用 AI 晶片 HC1,把 Llama 3.1 8B 直接硬編碼進矽片。其輸出速度高達每秒 17000 token,據稱達到輝達 B200 的 40 倍,且功耗降至十分之一。存算一體消除了記憶體瓶頸,不過它專芯專用,無法換跑其他模型。