跳到正文
IFAI

AI科研

Meta 读脑新突破:用脑磁图实时重构眼睛看到的画面

首次发布 传播指数 57

Meta 展示了一项 AI 系统,能通过非侵入式的脑磁图(MEG)信号每秒采集数千次脑电活动,实时重构出人眼看到的图像。该系统利用 DINOv2 视觉架构将脑信号与图像特征对齐。目前高层语义抓得很准,但细节方位仍有偏差。

科幻电影里总有这样的桥段:特工戴上一个头盔,脑子里刚想过什么画面,屏幕上就一帧一帧全播了出来。

Meta 现在的研究,正在把这种想象推向现实。10 月 18 日,Meta 基础人工智能研究团队发布了一项新进展,他们开发出了一套 AI 系统,能通过非侵入式的脑磁图技术,在几毫秒内解码人脑的视觉活动,并实时重构出人眼正在看到的图像。

读脑三步走:从脑电波到连环画

这项技术的核心,是利用脑磁图(MEG)来采集大脑活动。相比于以前大家常听到的功能性磁共振成像(fMRI),MEG 最大的优势就是快。fMRI 像是在给大脑拍高清静止照片,成像精确但反应迟缓,延迟往往有好几秒;而 MEG 每秒能记录数千次磁场变化,相当于在给大脑拍毫秒级的高速录像。

Meta 把这个解码流程拆成了三块积木。

第一块是图像编码器,它脱离人脑独立工作,负责把给测试者看的一堆图片提炼成复杂的机器表征。

第二块是脑编码器,它负责充当翻译官,拼命学习如何把志愿者头皮上测得的几毫秒 MEG 信号,精准对应到那些图像表征上。

第三块则是图像解码器,拿到大脑特征的映射后,直接反向生成一张人眼能看懂的逼真图片。

整套系统使用的是学术联盟 Things 公开的健康志愿者数据集。而在对比了各种主流视觉模块后,研究人员发现了一个很有意思的现象:人脑的神经反应,和 Meta 自家的自监督视觉模型 DINOv2 契合度最高。

也就是说,完全没经过人工打标签、只靠自监督学习长大的 AI 模型,其人造神经元的激活模式,竟然和人类大脑物理神经元的兴奋方式高度相似。正是这种奇妙的同步性,让 AI 拿捏住了人脑看世界的基本脉络。

能分清大象和轮船,但细节经常摆烂

听起来像读心术,但它目前画出来的东西,还远谈不上完美照相机。

Meta 团队也很坦白地指出了短板。如果志愿者看到的是一只狗或者一列火车,AI 解码出来的图像能很稳定地保留这类高层语义特征。换句话说,它绝对知道你眼前有一只动物或者一个交通工具。

但在低层细节上,AI 经常会胡思乱想。比如它可能会把画面里的物体放错位置、把朝向搞反,或者干脆把一只斑点狗还原成另一种毛色的哺乳动物。

与依赖巨型磁体、行动受限的 fMRI 相比,MEG 生成的图像在细腻程度上确实不如前者精确。但 Meta 拿下的关键壁垒不是分辨率,而是时间流。因为 MEG 可以在任意时刻连续工作,这意味着人类第一次有机会看到一个连续不断从脑活动中吐出来的解码画面流。

为什么重要

我们认为,这项研究最聪明的地方,在于 Meta 放弃了在静态清晰度上和 fMRI 死磕,转而押注在动态时间轴上。

对普通人来说,这套系统现在显然没法在家里用,毕竟一台医用 MEG 设备依然昂贵且庞大。但对于那些因脑损伤或中风而丧失语言能力的病患,这项研究意味着一条全新的无创脑机接口路线。如果未来不需要在颅骨上打孔插电极,只要戴上一顶轻便的感应帽子,就能把患者眼前的所见和脑中的意图实时还原成图像或语音,其临床价值是不可估量的。

对行业而言,这件事更深层的影响在于验证了自监督学习的潜力。过去行业做视觉大模型严重依赖海量人工标注,而 Meta 借着 DINOv2 和更早的 I-JEPA 证明,让模型自己去理解环境结构,反而能学出最贴近人类大脑的抽象认知方式。这会逼着其他大模型团队重新审视计算机视觉的底层路径:模仿人脑的结构,可能比盲目堆砌参数更管用。

不过隐患也显而易见。目前系统的训练依然严重依赖预先给定的图片基准库,如果测试者脑子里闪过一个前所未见的奇幻场景,这套三段式编码器大概率会直接崩溃。从实验室里看图还原的玩具,到真正能自由读懂人类意识的通用接口,中间还隔着一道巨大的工程鸿沟。

来源 (3)

  1. [1]
    ai.meta.com(在新标签页打开)原文ai.meta.com
  2. [2]
  3. [3]

每日 AI 内容精选