跳到正文
IFAI

AI科研

伦敦大学学院新突破:仅凭小鼠大脑信号,算法重建出 10 秒视频

首次发布 传播指数 36

伦敦大学学院团队在《eLife》发表研究,仅凭小鼠视觉皮层的单细胞脑活动记录,成功重建出小鼠看过的 10 秒视频。模型还结合了运动与瞳孔变化等内部生理状态,纳入神经元越多重建越准。这为解析大脑如何过滤和修饰视觉现实提供了全新工具。

伦敦大学学院新突破:仅凭小鼠大脑信号,算法重建出 10 秒视频
图:ucl.ac.uk

想知道别人或者动物眼前看到了什么,过去最前沿的做法是把受试者塞进笨重的 fMRI 机器里,从模糊的血流信号中倒推一些像打了马赛克的轮廓。

现在,研究人员把这个探头直接插到了单个脑细胞上。3 月 10 日,伦敦大学学院(UCL)桑斯伯里韦康姆中心的 Joel Bauer 博士团队在学术期刊《eLife》发表最新成果:他们仅凭小鼠视觉皮层的单细胞脑活动记录,成功让算法重建出了小鼠此前看过的 10 秒视频片段。

抛弃大机器,直接数单个神经元的闪烁

这项实验的核心改变在于观测尺度。以往依赖的人体 fMRI(功能性磁共振成像)只能看到大片脑区每秒钟的血流变化,虽然无创,但空间分辨率太粗糙。

UCL 团队改用双光子等微观成像技术,通过监测局部钙离子浓度的跃升,记录下小鼠视觉皮层中成百上千个单个神经元何时被点亮。这就好比从看整个城市的用电总量,精细到了监控每一盏路灯的开关。

团队借用了 2023 年 Sensorium 竞赛中开发的一个动态神经编码模型,并对其进行了关键改良。模型不仅要计算视频帧与脑细胞放电的对应关系,还专门把小鼠的身体状态算了进去,包括小鼠的身体移动和瞳孔放大程度。说白了,大脑接收画面从不是孤立运转的,小鼠是紧张还是跑动,都会直接改写神经信号的强度。

从一张白纸,反向算出 10 秒动态画面

具体的解码算法走得相当巧妙。研究人员先假设小鼠看的是一张纯空白屏幕,计算出此时神经元应该有的反应,然后把它与真实测到的小鼠脑信号做差值比对。

接着,算法像调整参数一样,根据这个差值逐步迭代修改空白视频里的每个像素点。一轮轮微调下来,输出的画面最终和小鼠眼前看到的场景无限贴近。

当这套模型训练完成后,面对一段小鼠全新看过、算法从未见过的 10 秒视频,仅靠小鼠的脑信号,系统就端出了高水准的动态还原画面。经过像素级的时间和空间相关性对比,重建视频和原视频在动作发生的时间点上几乎完全同步。实验还确认,记录追踪的单个神经元越多,画面的复原准确度就越高。

Bauer 博士指出,现在的技术重点仍是提升画质分辨率和扩大视野范围。但更有趣的发现是,还原出来的视频和真实画面之间的偏差,往往不能简单归咎为算法误差。大脑在把视网膜信号传到视觉皮层时,本来就会主动修饰、扭曲和补充信息。这套工具能帮科学家看清现实世界是如何一步步被生物大脑脑补成主观感知的。

为什么重要

在神经科学和脑机接口领域,这篇论文迈出了很有说服力的一步。它证明了不靠黑盒猜测,单凭高精度的单细胞生理活动结合身体状态数据,深度学习模型已经有能力端到端还原连续的动态时空视觉。

我们觉得这项研究最聪明的地方,在于没有盲目堆叠生成式大模型去脑补画面,而是用编码模型的反向更新,逼着像素去匹配真实的生物放电。这就保证了还原出来的画面是忠于脑信号的,而不是 AI 凭借常识幻觉画出来的假象。另外,把瞳孔和动作这类内部状态纳入视觉解码,踩中了具身感知的核心逻辑。

但普通读者不用担心有人会突然偷看你的梦境。目前单细胞记录必须借助侵入式的光学成像技术,只能在实验室环境下的实验动物身上施展,根本无法直接搬到人类大脑。而且 10 秒片段在复杂动态场景下的清晰度依然有限。

看起来,它眼下最大的价值不是充当意念录像机,而是作为一把解剖大脑认知机制的手术刀。对于计算机视觉和下一代类脑架构的研发者来说,这套方法或许能第一次用可量化的数据回答:生物大脑在把外界光信号变成意识画面的流水线上,究竟偷工减料了什么,又自主增添了什么。

来源 (1)

  1. [1]
    ucl.ac.uk(在新标签页打开)原文ucl.ac.uk

每日 AI 内容精选