跳到正文
IFAI

AI科研

Google 公布 DolphinGemma:把海豚叫声塞进 Pixel 手机实时解析

首次发布 传播指数 32

Google 联手佐治亚理工学院及 WDP 公布 DolphinGemma 进展。该模型基于 Gemma 架构开发,约 4 亿参数,能像预测下个单词一样预测海豚声音序列,且可直接在 Pixel 手机上离线运行。Google 计划在 2025 年夏天将该模型开源。

Google 公布 DolphinGemma:把海豚叫声塞进 Pixel 手机实时解析
图:blog.google

想象一下,你拿着一部普通的智能手机潜入巴哈马的清澈海水中,不仅能实时听懂海豚在叫什么,还能在它们发出声音的瞬间,生成符合海豚社交语法的回应。

4 月 14 日全美海豚日当天,Google 联合佐治亚理工学院以及野生海豚项目(Wild Dolphin Project,简称 WDP),公布了名为 DolphinGemma 的全新 AI 模型。它是一个专门用来解码海豚声音结构,并能生成海豚逼真发声的基础模型。

拿大语言模型那套,去猜海豚的「下一个词」

WDP 从 1985 年开始就在巴哈马群岛跟踪一群野生大西洋斑纹海豚,坚持了整整四十年。研究人员记录下了海豚的代际繁衍、水下行为视频,以及海量的声音档案。比如海豚母子相认时专用的「标志性口哨」、打架时发出的突发脉冲叫声,以及求偶或追逐鲨鱼时的咔哒声。

海豚的声音数据极其庞大,靠人工标记规律耗时耗力。Google 拿出的解法很直接:把用于人类语言的序列预测技术,搬到海洋里。

DolphinGemma 的参数量约为 4 亿(400M)。它基于 Google 的 Gemma 开源模型架构,利用 Google 的 SoundStream 音频分词器把海豚声音转成特征表示。

这套模型采用「音频进、音频出」的架构。就像大语言模型预测句子里下一个单词一样,DolphinGemma 会在海豚发出前奏声音时,预测下一个可能出现的发声序列,从而理出海豚自然交流里的潜在语法和模式。

把 Pixel 手机装进水下电脑,当海豚的同传翻译

除了被动分析,研究团队更想试试能不能和海豚进行实时互动。佐治亚理工学院与 WDP 早前联合开发了一套名为 CHAT 的水下交互系统。

研究人员并没有一开始就强行去破译海豚庞大深奥的自然语言,而是反其道而行:设计几种海豚叫声里没有的人造哨声,分别对应马尾藻、海草、围巾这些海豚爱玩的物件。人类研究员先在海豚面前互相用哨声索要玩具做演示,让好奇的海豚学会模仿,从而建立起一套简单的「共享词汇」。

这套设备之前依赖 Google Pixel 6 处理音频,而定于 2025 年夏天展开的新一轮野外测试将换成 Pixel 9。研究人员戴着水下骨传导耳机,Pixel 9 在防水装置里同时运行深度学习和特征匹配算法。

借助 DolphinGemma 的预测能力,设备在海豚还没把整个哨声叫完时就能提前判定意图,并通过骨传导耳机通知研究员。研究员能立刻把对应的玩具递过去,把互动延迟降到最低。

Google 还计划在 2025 年夏季将 DolphinGemma 作为开源模型公开发布,方便其他团队微调后用于瓶鼻海豚或飞旋海豚的研究。

为什么重要

对从事海洋生物学和动物行为学的研究者来说,这套方案最大的价值在于「极低门槛的野外边缘计算」。过去做水下实时声学分析,要么需要拖着笨重的定制工控机出海,要么只能把录音带回实验室跑离线集群。Google 把 4 亿参数的模型压缩到一部民用 Pixel 手机上跑,大幅降低了海上科考的硬件维护成本和功耗,野外研究人员终于不用在风浪里伺候娇贵的专用仪器了。

对整个行业而言,我们认为 DolphinGemma 提供了一个非常聪明的跨物种研究范式:它不执着于短时间内彻底「破译」未知的动物语言,而是先用人造符号搭建一个最小可行性的双向沟通协议。这种自下而上的做法,比动辄宣称要翻译整个动物界的宏大叙事要务实得多。

不过,目前的隐患也很明显。4 亿参数的小模型虽然便于在手机端部署,但在嘈杂多变的真实海洋环境中,如何过滤水面艇波、水流噪声并准确捕捉弱信号,依然存在很大挑战。即使模型真的预测出了海豚叫声的下一个音,这究竟是海豚理解了人类意图,还仅仅是海豚为了拿到玩具表现出的条件反射,在科学界依然有漫长的认知分歧需要去验证。

来源 (1)

  1. [1]
    blog.google(在新标签页打开)原文blog.google

每日 AI 内容精选