Meta 公布新一代自研 AI 芯片 MTIA:算力翻倍,专攻推荐与推理
Meta 公布了新一代自研 AI 推理芯片 MTIA。新芯片采用台积电 5nm 制程,算力与内存带宽比第一代提升超一倍,在关键推荐模型上的性能提升了 3 倍。这意味着 Meta 正在加速摆脱对商用 GPU 的单一依赖,目前该芯片已在数据中心正式上线服役。
Meta 公布了新一代自研 AI 推理芯片 MTIA。新芯片采用台积电 5nm 制程,算力与内存带宽比第一代提升超一倍,在关键推荐模型上的性能提升了 3 倍。这意味着 Meta 正在加速摆脱对商用 GPU 的单一依赖,目前该芯片已在数据中心正式上线服役。
加拿大总理 Justin Trudeau 宣布在 2024 年预算中投入 24 亿加元支持本土 AI 发展。其中 20 亿加元将用于建设算力基础设施与推出主权算力战略,另设 5000 万加元成立加拿大 AI 安全研究所。政府希望借此留住顶尖人才与初创企业。
据 The Information 报道,微软与 OpenAI 正规划耗资高达 1000 亿美元的超级计算机数据中心项目「Stargate」。该项目拟部署数百万颗专用芯片,计划最快于 2028 年推出,后续电力需求可能高达 5 吉瓦。不过项目能否推进,还取决于 OpenAI 能否显著提升模型能力。
Intel 透露微软计划让 Copilot 的更多功能直接在 PC 本地运行,从而减少云端延迟并保护隐私。不过下一代 AI PC 要求 NPU 算力超过 40 TOPS,目前市面上在售的消费级处理器均未达到这一标准。
亚马逊宣布向 AI 初创公司 Anthropic 追加 27.5 亿美元投资,完成此前承诺的高达 40 亿美元总投资。作为协议一部分,Anthropic 将主要使用 AWS 云服务和亚马逊自研芯片。面对微软与 OpenAI 的联盟,云巨头们正通过巨额风投绑定顶级大模型。
MLCommons 公布最新 MLPerf 推理评测结果,Nvidia 携 H200 参测全部项目,配合 TensorRT-LLM 表现强劲,其推理业务已占数据中心收入约 40%。Intel 提交了 Gaudi2 与至强成绩,而 AMD MI300 再次缺席。
据报道,Meta 为争夺顶尖 AI 人才采取极端策略。CEO 扎克伯格亲自给 Google DeepMind 研究员发邮件挖角,部分候选人甚至能跳过面试直接拿 offer,公司还取消了不给提离职员工加薪的惯例。这显示出巨头对 AI 核心人才的争夺已白热化。
NVIDIA CEO 黄仁勋发布新一代 Blackwell 架构。它专为万亿参数多模态模型打造,单芯片 FP4 推理性能达前代 Hopper 的 5 倍,训练性能提升 2.5 倍,同时还带来了打包部署工具 NIM。说白了,AI 算力正在全面告别通用计算,各家巨头也已集体排队采购。
Nvidia 在 GTC 大会上发布 Nvidia Quantum Cloud 微服务,让开发者能借助 GPU 模拟量子处理器的运行环境。该服务支持化学、生物及金融等领域的量子算法测试,同时公布了抗量子攻击密码库 cuPQC。目前该云服务已开启早期预览。
Nvidia 在 GTC 大会上发布面向人形机器人的通用基础模型平台 Project GR00T,以及基于 Blackwell 架构的专用计算机 Jetson Thor。包括波士顿动力、Figure AI、宇树科技在内的几乎所有主流人形机器人厂商均已加入合作,加速具身智能开发。
OpenAI CEO Sam Altman 在 Lex Fridman 播客中回顾了去年 11 月的董事会解雇风波。他称那是职业生涯中最痛苦的经历,公司险些被毁,但也让团队提前适应了压力。他认为算力将成为未来最重要的货币,通向 AGI 的道路必然伴随着巨大的权力斗争。
在 GTC 2024 上,Nvidia 宣布正式上线 Earth-2 气候数字孪生云平台。它结合生成式 AI 模型 CorrDiff 与 Omniverse,能以两公里级分辨率模拟全球与局部气象,速度比传统数值模型快 1000 倍、能效高 3000 倍。台湾气象部门已率先接入用于台风路径预测。
据报道,Inflection 推出新底座模型 Inflection-2.5。官方称其性能逼近 GPT-4,而训练算力仅用了约 40%。这意味着继 Claude 3 与 Gemini 1.5 之后,GPT-4 的壁垒再次被打破,顶尖大模型的训练门槛正在快速下降。
AI 推理芯片创企 Groq 宣布收购数据分析初创公司 Definitive Intelligence,金额未披露。对方此前协助搭档构建了按需调用 LPU 芯片的 GroqCloud,其创始人 Sunny Madra 将统领该业务,并协助设立面向政企交付的 Groq Systems 部门。
微软公布全新 Windows API「DirectSR」,联合 Nvidia、AMD 和 Intel 统一游戏超分辨率支持。开发者只需接入一套统一代码,即可同时兼容 DLSS、FSR 和 XeSS。微软称其为连接游戏与超分技术的「缺失一环」,将很快在 Agility SDK 预览版中上线。
Microsoft 宣布与 Mistral AI 达成多年合作,率先在 Azure AI 上线其旗舰模型 Mistral Large。微软将为其提供超算算力,企业可通过 MaaS 模式直接调用。这意味着微软在 OpenAI 之外,正式将欧洲最强模型纳入云生态。
Google 宣布扩大与 Reddit 的合作,正式接入 Reddit 实时 Data API,用于搜索展示及 AI 模型训练。与此同时,Reddit 也将采用 Google Cloud 的 Vertex AI 来增强站内搜索与相关能力。这让 Google 在真实人类语料的争夺中拿下了关键一手。
AI 芯片公司 Groq 研发的 LPU 芯片走红网络。根据第三方测试,Groq 运行大语言模型可达每秒 247 个 Token,比微软云端快了 13 倍。最值得关注的是,这种超低延迟让实时语音对话成为可能,不过其扩展能力仍有待检验。
NVIDIA 推出免费技术 Demo「Chat with RTX」,用户可将本地文档或 YouTube 视频挂载给 Mistral、Llama 2 等开源大模型,直接在 PC 端离线对话。所有数据无需上传云端,隐私更有保障;硬件门槛为 GeForce RTX 30 Series GPU 或更高显卡,显存至少 8GB。
NVIDIA 创始人兼 CEO 黄仁勋在迪拜世界政府峰会上表示,每个国家都必须掌握自身的人工智能生产力,建立拥有本土数据和文化的大模型。他建议各国先构建基础设施,并表示 AI 普及正让人类语言成为新的通用编程语言。