Taalas 推出 HC1 晶片:將模型刻進硬體,每秒輸出 17000 token
Taalas 推出專用 AI 晶片 HC1,把 Llama 3.1 8B 直接硬編碼進矽片。其輸出速度高達每秒 17000 token,據稱達到輝達 B200 的 40 倍,且功耗降至十分之一。存算一體消除了記憶體瓶頸,不過它專芯專用,無法換跑其他模型。
Taalas 推出專用 AI 晶片 HC1,把 Llama 3.1 8B 直接硬編碼進矽片。其輸出速度高達每秒 17000 token,據稱達到輝達 B200 的 40 倍,且功耗降至十分之一。存算一體消除了記憶體瓶頸,不過它專芯專用,無法換跑其他模型。
週二,Orange 宣佈聯手 OpenAI 與 Meta 微調大模型,首期重點攻克西非的沃洛夫語和普拉爾語。三方將訓練 Whisper 和 Llama 3.1,成果擬免費開放非商業用途,用於當地公共衛生與教育,讓不會讀寫的群體也能用母語與 AI 交流。
Meta 公佈首屆 Llama 影響力創新獎獲獎名單,支援非洲、中東、亞太與拉美等地區用 Llama 解決本地難題的機構。入選團隊將獲得最高 3.5 萬美元資助及配套廣告額度,專案覆蓋雙語醫療顧問、疫苗問答機器人以及視障穿戴裝置等場景。
Meta 公佈 Llama 最新資料:在 Hugging Face 累計下載量逼近 3.5 億次,較去年增長超 10 倍。5 到 7 月間主要雲平臺的 token 用量翻了一倍,8 月甚至以 405B 旗艦版獨立使用者最多。開源大模型正在真正變成企業基建。
Cerebras 推出 Cerebras Inference 推理服務,跑 Llama 3.1 8B 達每秒 1800 token,比超大規模雲端 GPU 快 20 倍。全程保持原生 16 位精度,8B 模型每百萬 token 僅收 10 美分。高吞吐低延遲讓多步驟智慧體真正具備即時響應能力。
Meta 在美國推出基於 Llama 3.1 的 AI Studio。任何人都能定製專屬 AI 角色,創作者可用它打造分身自動回覆提問並設定話題禁區。不過 Meta 在 8 月 10 日更新說明,因轉向新模型 Muse Spark,已停止建立新角色,僅維護現有角色。
Meta 釋出 Llama 3.1 系列,其中 405B 旗艦模型擁有 128K 上下文並在多項基準上對齊 GPT-4o。最值得關注的是,Meta 修改了協議,正式允許開發者用 405B 輸出的資料去蒸餾訓練其他小模型。