跳到正文
IFAI

大模型

Phind 编程模型超越 GPT-4:速度快 5 倍且支持 16k 上下文

首次发布 传播指数 50

Phind 推出自研编程模型,在 HumanEval 评估中取得 74.7% 的成绩,编码表现超越 GPT-4。借助 NVIDIA TensorRT-LLM 与 H100,生成速度达每秒 100 token,并支持 16k 上下文。该模型已在 Hugging Face 开源,同时提供网页端与 VS Code 插件免费试用。

Phind 编程模型超越 GPT-4:速度快 5 倍且支持 16k 上下文
图:codemotion.com

Phind Model 是一款基于 CodeLlama 34B 微调的开源代码生成模型,主打在保持极高编码水平的同时,跑出媲美 GPT-3.5 的极速,并原生支持 16k 上下文。

它能做什么

在代码基准评测 HumanEval 中,Phind Model V7 拿下了 74.7% 的分数,编码测试成绩超越了 GPT-4。

针对高难度的技术编程提问,它能把生成响应的时间从 GPT-4 的 50 秒压缩到 10 秒左右。不管是日常代码补全、排查语法错误,还是解释复杂的业务逻辑,它都能给出结构完整的解答。

不过 Phind 团队也坦承,模型目前在某些复杂场景下可能需要开发者进行更多轮次的对话调整,才能得到完全正确的代码,推理稳健度仍在持续迭代中。

怎么做到的与性能表现

Phind 能做到 5 倍于 GPT-4 的速度,核心在于底层推理架构的软硬件结合。

团队基于 NVIDIA H100 硬件环境,并采用了 NVIDIA 推出的 TensorRT-LLM 加速库。在单流配置下,Phind 的推理吞吐量可以达到每秒 100 token,而同时期的 GPT-4 每秒大约只有 20 token。

在长文本方面,它支持 16k 上下文窗口,足以让开发者一次性喂入完整的长文件、API 规范或详细的终端日志。

开放程度上,Phind 已经把模型权重完全开源到了 Hugging Face 上,允许任何人下载并部署在自己的计算集群中。

怎么上手体验

想自己部署的开发者,可以直接在 Hugging Face 搜索下载 Phind 的模型权重文件。

如果你不想配置算力,可以直接在 Phind 官网使用网页端。平台为所有注册用户提供每天 10 次的免费查询额度,省去了 ChatGPT 每月 20 美元的订阅门槛;重度用户也可以按需选择 15 美元或 30 美元的月费计划,或者体验网页端的结对编程功能。

此外,Phind 还推出了免费的 Visual Studio Code 官方插件。开发者可以通过快捷键直接发起选中代码搜索、一键重写重构,或者让 AI 分析终端里弹出的报错信息。

为什么重要

对开发者来说,Phind 解决了写代码时最恼人的痛点:等待。在日常排查 bug 和重构时,GPT-4 动辄数十秒的响应很容易打断思路,而 10 秒内出结果的 Phind 能极大提升写代码的节奏感。

我们认为,这款工具最聪明的地方在于没有盲目追求更大参数,而是基于 34B 开源基座结合 TensorRT-LLM 做到极致性能。这证明在垂类场景中,开源专用模型完全有实力在垂直能力和实用速度上挑战通用闭源巨头。如果你需要一个随时待命的免费调试搭子,它很值得一试。

来源 (2)

  1. [1]
    phind.com(在新标签页打开)原文phind.com
  2. [2]

每日 AI 内容精选