Taalas 推出 HC1 芯片:将模型刻进硬件,每秒输出 17000 token
Taalas 推出专用 AI 芯片 HC1,把 Llama 3.1 8B 直接硬编码进硅片。其输出速度高达每秒 17000 token,据称达到英伟达 B200 的 40 倍,且功耗降至十分之一。存算一体消除了内存瓶颈,不过它专芯专用,无法换跑其他模型。
Taalas 推出专用 AI 芯片 HC1,把 Llama 3.1 8B 直接硬编码进硅片。其输出速度高达每秒 17000 token,据称达到英伟达 B200 的 40 倍,且功耗降至十分之一。存算一体消除了内存瓶颈,不过它专芯专用,无法换跑其他模型。
周二,Orange 宣布联手 OpenAI 与 Meta 微调大模型,首期重点攻克西非的沃洛夫语和普拉尔语。三方将训练 Whisper 和 Llama 3.1,成果拟免费开放非商业用途,用于当地公共卫生与教育,让不会读写的群体也能用母语与 AI 交流。
Meta 公布首届 Llama 影响力创新奖获奖名单,支持非洲、中东、亚太与拉美等地区用 Llama 解决本地难题的机构。入选团队将获得最高 3.5 万美元资助及配套广告额度,项目覆盖双语医疗顾问、疫苗问答机器人以及视障穿戴设备等场景。
Meta 公布 Llama 最新数据:在 Hugging Face 累计下载量逼近 3.5 亿次,较去年增长超 10 倍。5 到 7 月间主要云平台的 token 用量翻了一倍,8 月甚至以 405B 旗舰版独立用户最多。开源大模型正在真正变成企业基建。
Cerebras 推出 Cerebras Inference 推理服务,跑 Llama 3.1 8B 达每秒 1800 token,比超大规模云端 GPU 快 20 倍。全程保持原生 16 位精度,8B 模型每百万 token 仅收 10 美分。高吞吐低延迟让多步骤智能体真正具备实时响应能力。
Meta 在美国推出基于 Llama 3.1 的 AI Studio。任何人都能定制专属 AI 角色,创作者可用它打造分身自动回复提问并设置话题禁区。不过 Meta 在 8 月 10 日更新说明,因转向新模型 Muse Spark,已停止创建新角色,仅维护现有角色。
Meta 发布 Llama 3.1 系列,其中 405B 旗舰模型拥有 128K 上下文并在多项基准上对齐 GPT-4o。最值得关注的是,Meta 修改了协议,正式允许开发者用 405B 输出的数据去蒸馏训练其他小模型。