Cohere 推出 Rerank 3 Nimble：速度提升 3 倍，专供 SageMaker

首次发布 2024年7月23日 UTC 16:07传播指数 44

Cohere 推出 Rerank 3 Nimble，专为企业搜索和 RAG 系统设计。它的速度比 Rerank 3 快约 3 倍，同时保持了高准确度。不过该模型目前仅在 Amazon SageMaker 上独家提供。

在搭建企业级搜索或 RAG（检索增强生成）系统时，重排序往往是决定答案准不准、响应快不快的最关键一步。

Cohere 宣布推出 Rerank 3 Nimble，这是其 Rerank 基础模型系列的最新成员。

速度拉升三倍的轻量选择

官方介绍，Rerank 3 Nimble 专门针对企业搜索与 RAG 场景打造。它在保持高水准准确率的同时，运行速度比原版 Rerank 3 快了大约 3 倍。

这意味着系统在对海量检索结果进行二次筛选和排序时，耗时将被显著压缩。

在可用渠道上，Cohere 表示 Rerank 3 Nimble 目前仅在 Amazon SageMaker 上独家提供，其他平台暂未上线。

我们认为，Cohere 这一步走得相当务实。

在真实的企业生产环境里，RAG 系统最大的痛点往往不是模型不够聪明，而是端到端延迟太高。尤其在高并发检索场景下，传统重排序模型经常成为拖慢响应的瓶颈。速度提升 3 倍，能直接帮开发者在不牺牲精度的前提下改善用户体验。

不过，目前该模型仅限 Amazon SageMaker 平台使用，看起来对多云或自建基础设施的企业来说，迁移和尝试的门槛依然不低。