옥스퍼드·싱가포르국립대, 인간 심리 상태 모사하는 세계 모델 프레임워크 'MWM' 공개

지금의 AI에게 닫힌 문을 보여주면 문을 여는 데 필요한 물리적 힘과 각도를 정확히 계산해 냅니다. 하지만 방 안의 사람이 왜 문을 걸어 잠그고 열어주지 않는지 물어보면 AI는 갈피를 잡지 못합니다.

현재의 세계 모델은 물체의 위치와 움직임은 기가 막히게 추적하지만, 인간 행동의 진짜 동기인 신념, 목표, 의도, 감정, 사회적 규범 같은 내면의 심리 상태를 완전히 놓치고 있습니다. 겉보기에 멀쩡한 물리적 장면만 쫓다 보니, 사람이 다음에 취할 행동을 번번이 엉뚱하게 예측하는 셈입니다.

옥스퍼드 대학교와 싱가포르 국립대학교 공동 연구진은 지난 7월 29일, 인간의 심리 변수를 세계 모델의 핵심 구성 요소로 격상시킨 새로운 이론 프레임워크 '심리 세계 모델링(Mental World Modeling, MWM)'을 arXiv를 통해 공개했습니다.

물리적 상태와 심리 상태를 함께 굴린다

MWM의 핵심은 AI가 단순히 컵이 어디에 놓여 있는가만 시뮬레이션하는 데 그치지 않고, 각 인물이 컵의 위치를 어떻게 알고 있는지, 무엇을 원하며 어떤 감정을 느끼는지까지 물리적 상태와 나란히 놓고 함께 업데이트하는 데 있습니다.

신념, 목표, 의도, 감정, 사회적 허용도 등 5가지 심리 변수를 사후 정당화 수단이 아니라 세계 모델의 핵심 상태 변수로 다룹니다.

연구진은 별도의 모델 학습이 필요 없고 내부 추론 과정을 투명하게 들여다볼 수 있는 기준 시스템인 MENTIS도 함께 구축했습니다. 상황 파악, 특정 대상의 관찰 시야 생성, 행동 분해, 물리 및 심리 상태의 동시 전이, 분기별 가치 평가까지 단계별로 나누어 처리해 블랙박스 모델의 불투명성을 덜어냈습니다.

심리 채널 끄자 예측 정확도 12점 폭락

연구진은 텍스트, 이미지, 소리가 포함된 영상 스토리를 아우르는 448개의 실제 상황 데이터셋을 손수 구축하고, 최신 LLM 기반 세계 모델 8종을 올려 성능을 시험했습니다.

온전한 MWM 프레임워크를 적용했을 때 인간 의사결정 예측 정확도는 평균 87.9%에 달했습니다.

반면 심리 추적 채널을 끄고 순수하게 물리적 궤적만 보게 만들자, 모든 모델의 성능이 평균 12.1점이나 곤두박질쳤습니다. 특히 사람 간의 상호작용이 복잡하게 얽힌 장면에서는 심리 모델링을 적용했을 때 정확도가 무려 26.4점이나 뛰어올랐습니다.

왜 중요한가

그동안 업계에서 세계 모델이라고 하면 소라(Sora)처럼 사실적인 물리 영상을 만들어내는 기술만 떠올렸습니다. 하지만 AI 에이전트가 화면 밖으로 나와 간병 로봇, 맞춤형 튜터, 지능형 NPC로 작동하려면 물리 엔진보다 타인의 마음을 읽는 심리 엔진이 훨씬 절실합니다.

개발자 입장에서 이번 연구가 반가운 이유는 MENTIS가 추가 학습 없이 작동한다는 점입니다. 차세대 파운데이션 모델이 나오길 마냥 기다릴 필요 없이, 현재의 LLM 추론 파이프라인에 상대방의 심리 상태를 추적하는 프롬프트 구조를 바로 시험해 볼 수 있습니다.

우리가 보기에 이 연구의 가장 영리한 대목은 마음 이론을 모델의 모호한 직관에 맡기지 않고, 검증 가능한 명시적 상태 변수로 분리해 냈다는 점입니다. 어떤 오해가 어떤 잘못된 행동으로 이어졌는지 단계별로 역추적할 수 있습니다.

다만 현실 적응력에는 물음표가 남습니다. 정제된 448개 시나리오와 달리 실제 사람의 마음은 비합리적이고 모순되며 때로는 거짓말로 가득 차 있습니다. 다섯 가지 변수로 추상화한 이 시스템이 복잡한 다자간 갈등 상황에서도 과부하 없이 작동할 수 있을지는 앞으로 지켜봐야 할 대목입니다.