Google 公佈 DolphinGemma:把海豚叫聲塞進 Pixel 手機即時解析
Google 聯手喬治亞理工學院及 WDP 公佈 DolphinGemma 進展。該模型基於 Gemma 架構開發,約 4 億引數,能像預測下個單詞一樣預測海豚聲音序列,且可直接在 Pixel 手機上離線執行。Google 計劃在 2025 年夏天將該模型開源。

想像一下,你拿著一部普通的智慧手機潛入巴哈馬的清澈海水中,不僅能即時聽懂海豚在叫什麼,還能在它們發出聲音的瞬間,生成符合海豚社交語法的回應。
4 月 14 日全美海豚日當天,Google 聯合喬治亞理工學院以及野生海豚專案(Wild Dolphin Project,簡稱 WDP),公佈了名為 DolphinGemma 的全新 AI 模型。它是一個專門用來解碼海豚聲音結構,並能生成海豚逼真發聲的基礎模型。
拿大語言模型那套,去猜海豚的「下一個詞」
WDP 從 1985 年開始就在巴哈馬群島跟蹤一群野生大西洋斑紋海豚,堅持了整整四十年。研究人員記錄下了海豚的代際繁衍、水下行為影片,以及海量的聲音檔案。比如海豚母子相認時專用的「標誌性口哨」、打架時發出的突發脈衝叫聲,以及求偶或追逐鯊魚時的咔噠聲。
海豚的聲音資料極其龐大,靠人工標記規律耗時耗力。Google 拿出的解法很直接:把用於人類語言的序列預測技術,搬到海洋裡。
DolphinGemma 的引數量約為 4 億(400M)。它基於 Google 的 Gemma 開源模型架構,利用 Google 的 SoundStream 音訊分詞器把海豚聲音轉成特徵表示。
這套模型採用「音訊進、音訊出」的架構。就像大語言模型預測句子裡下一個單詞一樣,DolphinGemma 會在海豚發出前奏聲音時,預測下一個可能出現的發聲序列,從而理出海豚自然交流裡的潛在語法和模式。
把 Pixel 手機裝進水下電腦,當海豚的同傳翻譯
除了被動分析,研究團隊更想試試能不能和海豚進行即時互動。喬治亞理工學院與 WDP 早前聯合開發了一套名為 CHAT 的水下互動系統。
研究人員並沒有一開始就強行去破譯海豚龐大深奧的自然語言,而是反其道而行:設計幾種海豚叫聲裡沒有的人造哨聲,分別對應馬尾藻、海草、圍巾這些海豚愛玩的物件。人類研究員先在海豚面前互相用哨聲索要玩具做演示,讓好奇的海豚學會模仿,從而建立起一套簡單的「共享詞彙」。
這套裝置之前依賴 Google Pixel 6 處理音訊,而定於 2025 年夏天展開的新一輪野外測試將換成 Pixel 9。研究人員戴著水下骨傳導耳機,Pixel 9 在防水裝置裡同時執行深度學習和特徵匹配演算法。
藉助 DolphinGemma 的預測能力,裝置在海豚還沒把整個哨聲叫完時就能提前判定意圖,並通過骨傳導耳機通知研究員。研究員能立刻把對應的玩具遞過去,把互動延遲降到最低。
Google 還計劃在 2025 年夏季將 DolphinGemma 作為開源模型公開發布,方便其他團隊微調後用於瓶鼻海豚或飛旋海豚的研究。
為什麼重要
對從事海洋生物學和動物行為學的研究者來說,這套方案最大的價值在於「極低門檻的野外邊緣計算」。過去做水下即時聲學分析,要麼需要拖著笨重的定製工控機出海,要麼只能把錄音帶回實驗室跑離線叢集。Google 把 4 億引數的模型壓縮到一部民用 Pixel 手機上跑,大幅降低了海上科考的硬體維護成本和功耗,野外研究人員終於不用在風浪裡伺候嬌貴的專用儀器了。
對整個行業而言,我們認為 DolphinGemma 提供了一個非常聰明的跨物種研究範式:它不執著於短時間內徹底「破譯」未知的動物語言,而是先用人造符號搭建一個最小可行性的雙向溝通協議。這種自下而上的做法,比動輒宣稱要翻譯整個動物界的宏大敘事要務實得多。
不過,目前的隱患也很明顯。4 億引數的小模型雖然便於在手機端部署,但在嘈雜多變的真實海洋環境中,如何過濾水面艇波、水流噪聲並準確捕捉弱訊號,依然存在很大挑戰。即使模型真的預測出了海豚叫聲的下一個音,這究竟是海豚理解了人類意圖,還僅僅是海豚為了拿到玩具表現出的條件反射,在科學界依然有漫長的認知分歧需要去驗證。
來源 (1)
- blog.google(在新分頁開啟)原文blog.google