메타·KAUST, 모델 자체가 컴퓨터 되는 '신경 컴퓨터' 제안

지금까지의 AI는 대체로 하나의 공식에 머물러 있었습니다. 모델을 만들고, 거기에 브라우저와 단말기를 붙여 사람처럼 컴퓨터를 쓰게 만드는 방식입니다. 하지만 외부 기기를 조작하는 대신 모델 자체가 하나의 컴퓨터로 작동한다면 어떨까요?

메타와 KAUST(킹 압둘라 과학기술대학교) 연구진은 '신경 컴퓨터(Neural Computers, NC)'라는 완전히 새로운 개념을 제안한 논문을 발표했습니다. 핵심은 계산, 메모리, 입출력(I/O)을 모델 내부의 학습된 런타임 상태 하나로 통합하는 것입니다.

비디오 모델로 화면을 직접 렌더링하다

기존 컴퓨터는 명시적인 프로그램을 실행하고, 에이전트는 외부 환경에서 행동하며, 월드 모델은 환경의 동역학을 학습합니다. 연구진은 현재 흩어져 있는 프로그램 스택과 제어 레이어를 모델 자체의 런타임으로 점진적으로 흡수해야 한다고 보았습니다.

연구진은 이를 입증하기 위해 별도의 프로그램 내부 상태 없이 I/O 기록만으로 터미널 시뮬레이터와 데스크톱 시뮬레이터라는 두 가지 프로토타입을 훈련했습니다. 신경 컴퓨터를 비디오 모델 형태로 구현해, 사용자의 프롬프트와 조작 액션에 맞춰 화면 프레임을 한 장씩 생성해 내는 방식입니다.

터미널 시뮬레이터에서는 타이핑, 명령어 실행, 파이썬 인터랙션을 흉내 내며 텍스트 스크롤과 창 변화를 그럴듯하게 보여줍니다. 데스크톱 시뮬레이터 역시 마우스 커서 이동과 클릭, 메뉴 열림 등을 재현했습니다.

다만 어디까지나 극초기 개념 검증 단계입니다. 현재로서는 수초에서 수십 초 정도의 짧은 상호작용만 가능하며, 시퀀스가 길어지면 데스크톱 조작이 빗나가기 일쑤입니다. 또한 복잡한 기호 계산에서 안정성이 떨어지고 상태를 영구적으로 기억하지 못해 매번 다시 생성해야 합니다.

'완전 신경 컴퓨터'를 향한 과제

연구진은 이러한 초기 형태를 넘어 장기적인 목표로 '완전 신경 컴퓨터(Completely Neural Computer, CNC)'를 제시했습니다. 안정적인 실행과 명시적인 재프로그래밍이 가능한 범용 시스템입니다.

CNC에 도달하기 위해서는 튜링 완전성, 범용 프로그래밍 가능성, 동작 일관성, 머신 네이티브 시맨틱이라는 네 가지 핵심 조건을 만족해야 합니다. 이 문제들이 해결된다면 개별 소프트웨어나 파일 시스템 없이, 사용자가 원하는 기능을 말하는 즉시 모델 자체가 해당 프로그램으로 변신하는 환경이 열릴 수 있습니다.

왜 중요한가

당장 일반 사용자나 개발자가 가져다 쓸 수 있는 완성형 도구는 아닙니다. 이제 막 화두를 던진 연구 단계이고, 기호 계산의 정확도나 지속성 면에서 실제 컴퓨터를 대체하기엔 한참 멀었습니다.

그럼에도 이 연구가 던진 시선은 곱씹어볼 만합니다. 지금 AI 업계는 사람이 쓰던 윈도우나 맥 화면을 에이전트가 어떻게 하면 더 잘 클릭하게 만들지에 매달려 있습니다. 반면 메타와 KAUST는 레거시 인터페이스를 벗어나 모델 자체가 연산 런타임이 되는 급진적인 대안을 제시했습니다.

동영상 생성 기법으로 모니터 화면을 그리는 방식은 언뜻 보기에 매우 비효율적이고 비싸 보입니다. 하지만 우리는 이것이 껍데기 시뮬레이션을 넘어 모델 내부의 연산 구조를 재정의하려는 시도라는 점에 주목해야 한다고 봅니다. 에이전트 이후의 컴퓨팅 형태를 고민하는 첫걸음이라는 점에서 충분히 눈여겨볼 가치가 있습니다.