跳到正文
IFAI

AI科研

Meta 联手 KAUST 提出神经计算机:让模型自己当电脑,用视频渲染界面

首次发布 传播指数 36

Meta 与 KAUST 团队提出全新计算范式「神经计算机」,探索让模型自身承担计算、内存与 I/O,而不是作为 Agent 去帮人用电脑。团队利用视频模型训练了终端与桌面模拟器原型,直接从输入渲染屏幕操作,不过目前受限于符号计算与稳定性,仅支持短序列运行。

Meta 联手 KAUST 提出神经计算机:让模型自己当电脑,用视频渲染界面
图:arxiv.org

现在大家聊 AI,思路基本都是一样的:做个大模型,给它装上键盘和鼠标,让它像个人类实习生一样帮你打开浏览器、敲终端代码。但如果换一个底层逻辑,根本不需要物理电脑,让模型自己变成一台电脑呢?

来自 Meta 和 KAUST 的研究团队在 arXiv 上发了一篇论文,正式抛出了一个全新概念:神经计算机(Neural Computers,简称 NC)。简单来说,他们不想让 AI 只是当个「用电脑的人」,而是想让模型自己把计算、内存和输入输出全部吞进运行时状态里。

让视频模型一帧一帧画出屏幕

传统的计算机运行的是写好的程序,Agent 是去操作外部环境,而世界模型负责学习物理规律。研究团队认为,现在的软件栈、工具链和控制层其实都太分散了,完全可以收纳进模型自身的运行时中。

为了验证这个想法,他们用纯粹的输入输出轨迹训练了两个 AI 模拟器:一个是终端模拟器,另一个是桌面模拟器。有意思的是,他们把神经计算机具体实现成了一个视频模型,模型根据输入的指令、像素和操作动作,一帧一帧把屏幕画面给「算」出来。

在终端模拟器里,AI 可以模拟敲键盘、跑命令和 Python 交互,连终端窗口的滚动和变化都惟妙惟肖。而在桌面模拟器里,它也能模仿鼠标滑动、点击和展开菜单。

不过,现在的效果只能算非常早期的概念验证。桌面模拟器一旦操作步骤拉长,画面很容易就跑偏了;终端模拟器在面对复杂计算或长序列时,符号稳定性也会急剧下滑。它目前只能维持几秒到几十秒的短序列交互,而且无法持久记忆,每次基本都是重新生成。

完全神经计算机的四个门槛

研究团队心里也很清楚,眼前的原型离真正能用的机器差得还很远。他们在论文里给终极目标画了一张路线图,把这种成熟形态称为「完全神经计算机」(Completely Neural Computer,简称 CNC)。

想要走到 CNC 那一步,至少要跨过四道硬门槛:图灵完备性、通用可编程性、行为一致性,以及机器原生语义。这意味着模型不仅能跑任何算法,还得支持受控的程序更新,并在长时间运行中保持结果绝对稳定。

如果真能走到那一天,我们熟悉的操作系统、文件系统和独立软件可能都会消失。你面对的不再是一个个具体的 App,而是一个随时可以把自己重塑成对应工具的智能状态。

为什么重要

对普通用户和开发者来说,神经计算机现在完全不是一个能拿来干活的生产力工具。它目前只是一篇学术论文和极早期的 demo,连基础的符号精确度都没解决,大家完全不用急着去尝试。

但从架构创新的角度来看,这个思路非常大胆。过去两年整个行业都在拼命给 Agent 打补丁,教它怎么看懂屏幕、怎么调用 API、怎么操作操作系统。而 Meta 和 KAUST 这次干脆掀了桌子,直接问了一句:为什么我们还要保留这套给人类手指和眼睛设计的传统软硬件体系?

用生成视频来模拟屏幕,看起来甚至有点「过于奢侈和反直觉」,很多人可能会质疑用海量显卡算力去画一个计算器界面是极度低效的。但在我们看来,这篇研究的真正野心不在于画界面的视频模型,而在于探索模型内部的原生计算范式。它给下一代计算架构撕开了一条缝隙,证明了 Agent 除了在现有的电脑里打工,或许未来还有可能成为承载一切的新载体。

来源 (1)

  1. [1]

每日 AI 内容精选