MIT 開發跨模態 AI：用 1000 個詞對齊影片與語音

你看一眼路邊疾馳的汽車，耳邊同時響起引擎聲，大腦立刻就能把這兩件事綁在一起。但對 AI 來說，影片是一堆跳動的畫素，音訊是一段連續的聲波，想讓它明白兩者說的是同一個概念，向來非常費勁。

來自 MIT 電腦科學與人工智慧實驗室（CSAIL）的研究團隊最近找到了一種巧妙的解法。他們設計了一套跨模態機器學習系統，不需要人類手動打標，就能自主識別影片中的動作，並與語音或文本對齊。

用 1000 個詞把視聽世界裝進同一個網格

這項研究的核心在於表徵學習。以往的做法往往把影片、音訊放在各自獨立的特徵空間裡分別計算，再想辦法強行對應。

MIT 這篇論文的第一作者 Alexander Liu 和團隊換了個思路。他們讓不同模態的資料直接共用同一個嵌入空間網格，把相似的概念聚類成同一個向量。

最核心的一個設計是限制數量。研究人員給模型定了一條硬性規則：整個系統最多隻能挑出 1000 個詞來標記這些向量。

模型必須自己權衡並挑選出最關鍵的 1000 個詞，來概括海量的資料。比如畫面裡出現了一頭豬，模型把「pig」分配給某個向量；當音訊裡聽到有人念出「pig」這個發音時，演算法同樣會把它引導到同一個向量上。

通過這種方式，小嬰兒哭泣的影片畫面，就能自動和錄音裡發出的「crying」單詞牢牢繫結在一起。

看懂機器為什麼挑中這個影片

團隊在三個資料集上測試了跨模態檢索任務，分別涵蓋了影片加文本、影片加語音以及影像加語音。比如給系統一句語音指令，讓它在海量片段中把動作匹配的影片找出來。

測試結果顯示，這種方法在跨模態檢索上的表現超過了以往的對比模型。但它更讓人眼前一亮的優勢，在於打破了以往黑盒模型的弊端。

正因為模型總共只能用 1000 個具體的詞來打標籤，當用戶用一段語音搜出一段影片時，可以非常直觀地看到模型究竟調動了哪幾個詞做判斷。這種可解釋性在需要人機協作或審查的真實業務中極具實用價值。

不過這項研究依然處於早期探索階段。論文作者坦言，目前模型一次只能處理兩種模態的交叉，而人類現實中面對的是多種感官同時輸入。此外，測試集裡的動作和物體都相對單純，1000 個詞在雜亂無章的現實世界裡夠不夠用、能否擴充套件到更大規模，還有待驗證。

為什麼重要

我們認為，這項研究最聰明的地方在於主動給自己戴上緊箍咒。在大家都在堆引數、拼海量維度的當下，團隊反向引入離散的 1000 詞限制，用極簡的離散詞表把黑盒般的跨模態對齊做成了白盒。

對開發者和產品經理來說，這種可解釋性是一大殺器。以往做多模態圖文影音檢索，模型搜錯或者胡亂匹配時，工程團隊很難排查是哪個特徵層出了偏差。現在通過顯式的關鍵詞中介，你能清楚知道 AI 究竟是把哪個動作認成了什麼。

對具身智慧和機器人領域而言，這也是一個值得關注的原型。如果機器人要真正融入人類世界，它不能光靠文本提示詞活著，必須把看到的操作和聽到的指令無縫對應起來。

當然，目前 1000 個離散詞的容量對於處理現實複雜場景還顯得捉襟見肘，企業現在還不必急著用它替換現有的成熟檢索架構。但這種藉助共享離散空間對齊多模態概念的路徑，看起來給未來的端側輕量化模型和可解釋 AI 提供了一個非常清爽的參考樣本。