Magic 公布 1 亿 Token 超长上下文模型，获 3.2 亿美元新融资

平时让 AI 帮你改代码，最头疼的就是项目稍微大一点，模型就把前面的配置和依赖给忘光了。要么就是上下文一拉长，算力账单直接飙上天。

专攻 AI 编程的初创公司 Magic 刚刚端出了一颗重磅炸弹。他们搞出了首个支持 1 亿 token 上下文的模型 LTM-2-mini，顺手拿到了 3.2 亿美元的新融资，还拉上 Google Cloud 和英伟达一起搭超算。

吞下 750 本小说的上下文，还有专治水分的 HashHop

1 亿 token 是什么概念？换算下来差不多是 1000 万行代码，或者 750 本大部头小说。这就意味着你可以把整个复杂的商业代码库、甚至没在公网公开过的内部私有库和文档，一次性全塞进它的脑子里。

Magic 觉得现在的长上下文评测水分太大。业内最常用的「大海捞针」测试，就像在讲鲸鱼的小说里突然插一句「某人和某人在喝咖啡」，模型只要抓异常特征就行，连传统检索增强生成都能蒙混过关。还有些测试直接给了特殊标记，相当于考试前就把答案圈出来了。

为了测出真本事，Magic 自己设计并开源了 HashHop 基准。他们把完全随机、不可压缩的哈希值打乱做成链条，让模型顺着链条一路找下去，模拟真实代码里跨文件的变量赋值和模块引用。在这个严苛测试下，LTM 架构即使跳步查找也能保持很强的推理稳定性。

23 个人的小团队，把显存开销打到了地板价

长上下文最怕的是显存爆炸。Magic 算了一笔账：如果用开源霸主 Llama 3.1 405B 来硬撑 1 亿 token，光是存一个用户的 KV 缓存，就得烧掉 638 张英伟达 H100 GPU，也就是整整 51TB 显存。

而他们的 LTM-2-mini 在处理同样长度时，单个用户只需要占用单张 H100 高带宽显存的一小部分。在序列维度的计算开销上，直接比 Llama 3.1 便宜了大约 1000 倍。

虽然这个原型模型本体比现有主流大模型小好几个数量级，但在完全不给提示的情况下，它直接读完代码库就用自定义框架手写出了计算器，还能自主给开源项目 Documenso 加上密码强度检测功能。

有意思的是，Magic 全团队当时只有 23 个人，手里却调动着 8000 张 H100。他们甚至没用现成的自动求导框架，而是自己手写了大量的底层 CUDA 代码。这次他们拿到了由 Eric Schmidt、红杉资本、Jane Street 等投资的 3.2 亿美元，总融资达到 5.15 亿美元，前 OpenAI 超算负责人 Ben Chess 也在这里挑大梁。

不仅如此，他们还宣布在 Google Cloud 上搭建 Magic-G5 超算集群，全面上马英伟达 GB200 NVL72，未来打算扩展到数万张 Blackwell GPU。

为什么重要

我们认为，Magic 的尝试直击了当前大模型落地最大的痛点：预训练红利正在见顶，推理期算力才是下一张王牌。

对开发者来说，它的愿景极其诱人：未来可能只要花 100 美元和 10 分钟，AI 就能在完全理解整个仓库的前提下，直接交付一个可以直接合并的高质量功能 PR。如果你现在想尝试，他们的评测工具 HashHop 已经在 GitHub 开源，但真正的超大模型还在新集群上训练，普通开发者还要等大号 LTM-2 正式上线。

这一步走得最聪明的地方，在于他们没有卷通用模型的大参数，而是盯死了长上下文的极端推理效率。如果真能把 100M token 的推理成本压到白菜价，那些靠 RAG 拼凑上下文的传统代码助手就会显得非常笨拙。

不过隐患也同样明显。长上下文不等于强推理能力，小模型在逻辑极其复杂的架构重构中是否会产生严重的幻觉，依然有待检验。而且从几十人的小团队跨越到管理数万张卡的大规模集群，工程交付和商业化落地才是真正的硬仗。