구글 딥마인드, 마우스 포인터 재창조…'이것 수정해' 말하면 제미나이가 처리

반세기 넘게 컴퓨터 화면을 지켜온 마우스 포인터가 드디어 생성형 AI를 만났습니다. 그동안 AI 도구를 쓰려면 하던 작업을 멈추고 별도 창으로 이동해 긴 프롬프트를 입력해야만 했습니다.

구글 딥마인드가 5월 12일 제미나이를 기반으로 마우스 포인터의 상호작용 방식을 새롭게 정의한 실험적 시스템을 공개했습니다. 화면을 가리키며 자연어로 "이거 고쳐줘"라거나 "저쪽으로 옮겨줘"라고 말하면 AI가 알아서 맥락을 읽어냅니다.

장문의 프롬프트 대신 포인터로 짚는 직관적 상호작용

딥마인드는 사용자가 일일이 상황을 설명하는 수고를 덜어주기 위해 네 가지 인터랙션 원칙을 제시했습니다.

가장 큰 특징은 작업의 흐름을 끊지 않는다는 점입니다. PDF 문서를 가리키며 요약본을 만들어 이메일에 바로 붙여넣게 하거나, 통계 표 위에 커서를 올리고 원형 차트로 변환하도록 요청할 수 있습니다.

또한 일상적인 대화처럼 "이거"나 "저거"라는 지시어만으로 작업이 가능합니다. 포인터 주변의 시각적·의미적 맥락을 시스템이 파악하고 있기 때문에, 특정 코드 블록이나 사진 일부를 짚고 "무슨 뜻이야?"라고만 물어도 정확한 답변을 내놓습니다.

화면의 단순 픽셀을 행동 가능한 데이터로 변환하는 기술도 포함됐습니다. 메모 사진을 누르면 바로 할 일 목록으로 바뀌고, 여행 영상 속 식당을 짚으면 예약 페이지 링크가 연결되는 방식입니다.

크롬 적용 시작, 신형 구글북에도 탑재 예정

이러한 원칙은 이미 실제 제품에 녹아들고 있습니다.

구글은 오늘부터 크롬의 제미나이 기능에 이를 통합해, 웹페이지에서 제품 여러 개를 지정해 비교하거나 방 사진의 빈 공간을 가리켜 소파를 배치해보는 기능을 제공합니다.

또한 새로운 구글북 노트북에 '매직 포인터'라는 이름으로 기능을 선보일 예정입니다. 구글 랩스의 디스코 플랫폼 등에서 추가 테스트가 이어지며, 현재 구글 AI 스튜디오에서 관련 데모를 직접 체험해볼 수 있습니다.

왜 중요한가

우리는 이번 시도가 생성형 AI의 가장 큰 사용 장벽이었던 파편화된 인터페이스를 영리하게 해결한 한 수라고 봅니다.

지금까지의 AI는 사이드바나 별도 챗봇 형태에 머물러 있어 복사해서 붙여넣는 번거로움이 컸습니다. 마우스 포인터 자체에 멀티모달 시각 이해를 결합하면 프롬프트 작성에 익숙하지 않은 일반 사용자도 즉시 AI를 도구로 다룰 수 있게 됩니다.

다만 화면 위 커서가 가리키는 픽셀 데이터를 실시간으로 읽어내는 과정에서 발생할 프라이버시 침해 우려와 시스템 부하는 풀어야 할 숙제입니다. 마우스가 움직일 때마다 화면 정보를 모델에 넘기는 것에 거부감을 느끼는 사용자도 적지 않을 것입니다.

그럼에도 AI 경쟁의 중심이 단순 모델 성능에서 OS 최하단의 사용자 경험 혁신으로 넘어가고 있음을 명확히 보여주는 사례입니다.