NVIDIA 推出視覺定位框架 LocateAnything：一句話框出目標，密集檢測提速 10 倍

如果你做過視覺資料標註或者機器人視覺，大概體會過讓大模型找東西的折磨。你讓它找圖裡某個很隱蔽的小物件，它能看懂你想找什麼，但真要把框畫出來，速度慢得像在擠牙膏。

大模型視覺定位的底層邏輯一直有點彆扭。現有的多模態大模型大多把畫框當成寫字：把一個二維的框拆成四個座標數字，然後一個 token 接著一個 token 往外蹦。這種序列吐字不僅打破了座標之間的幾何關聯，而且一旦畫面裡物體密集，模型就得機械地吐成百上千個數字，推理速度直接卡死在生成環節。

NVIDIA 團隊公開了一項新研究，推出了統一視覺定位框架 LocateAnything。一句話總結，它把視覺定位和目標檢測從逐字擠數字，變成了單步出框，密集檢測速度直接拉高了 10 倍。

把畫框當成一個原子動作

LocateAnything 的核心思路很乾脆：既然一個矩形框在空間裡本來就是一個整體，為什麼非要拆碎了讓語言模型逐個預測？

研究團隊提出了並行邊界框解碼（Parallel Box Decoding，簡稱 PBD）。在這個機制下，邊界框或中心點不再是一串被切開的數字 token，而是作為一個獨立的幾何原子單元，在單一步驟裡直接並行解碼完成。這樣既保留了框內各個座標的內在幾何關聯，又徹底釋放了平行計算的能力。

在模型架構上，它採用了 Qwen2.5-3B 搭配 Moon-ViT 的組合，並支援快速模式、慢速模式以及混合模式。面對海量候選目標時，使用者可以根據實際算力與延遲要求靈活切換。

除了架構創新，NVIDIA 這次還在資料上砸了重金。團隊構建了一個名為 LocateAnything-Data 的超大規模資料集，包含超過 1.38 億條訓練樣本，大幅擴充了高精度定位的樣本多樣性。評測結果顯示，LocateAnything 在顯著提高吞吐量的前提下，高 IoU（交併比）下的定位精度同樣大幅提升。

為什麼重要

我們認為，LocateAnything 找準了大模型落地物理世界最尷尬的一個斷點。

過去兩年裡，多模態大模型雖然在看圖說話、常識問答上突飛猛進，但一旦要求它精確定位一個畫素級別的物體，往往要麼算力開銷巨大，要麼延遲高到無法滿足即時互動。工業質檢、自動駕駛和具身機器人等場景，根本等不起模型幾個座標幾個座標地慢慢吐。

對開發者和下游行業來說，這個框架帶來的價值非常直觀。如果輸入一句話描述就能秒級框出甚至切出對應物體，且在密集場景下擁有 10 倍的吞吐優勢，自動化資料清洗、智慧影像檢索和具身智慧的抓取感知環節，效率都會成倍翻番。配合 3B 級別的輕量級底座，它甚至具備在邊緣計算裝置上跑起來的潛力。

看起來，NVIDIA 這次是在給下一階段的具身智慧和視覺感知鋪路。當幾何先驗被巧妙塞回生成模型之後，多模態大模型才算真正具備了又快又準看懂現實空間的能力。