애플, 화면 읽는 AI 'ReALM' 공개: 가벼운 텍스트 변환으로 GPT-4 제쳤다

스마트폰 화면을 보면서 "여기 전화 걸어줘"라고 말했을 때 제대로 알아듣는 음성 비서는 지금까지 거의 없었습니다.

화면을 볼 줄 모르기 때문인데, Apple 연구진이 이 문제를 해결하기 위해 화면 맥락을 파악하는 새로운 AI 모델 'ReALM'을 공개했습니다.

가장 눈에 띄는 점은 GPT-4보다 매개변수 수가 훨씬 적은데도, 특정 작업에서 대형 ReALM 모델이 GPT-4의 성능을 크게 앞질렀다는 사실입니다.

화면을 이미지가 아닌 텍스트로 읽는 영리함

기존 멀티모달 모델이 화면을 이해하려면 스크린샷 전체를 무거운 비전 모델로 분석해야 했습니다. 연산량이 너무 많아 기기 자체에서 가볍게 돌리기 어려웠습니다.

ReALM은 완전히 다른 방식을 택했습니다. 화면 위의 버튼, 글자, 레이아웃 정보를 통째로 자연어 텍스트로 인코딩해 모델에 넘겨줍니다.

즉, 화면을 그림으로 보지 않고 글로 읽는 셈입니다. 이 덕분에 화면 속 정보는 물론 백그라운드 작업까지 함께 고려하면서도, 온디바이스로 매끄럽게 돌아갈 만큼 효율성을 확보했습니다.

벤치마크 테스트에서 GPT-4에는 실제 화면 캡처 이미지를 제공했지만, ReALM은 텍스트 인코딩 데이터만으로 맞붙었습니다. 그럼에도 ReALM은 GPT-4와 대등하거나 더 뛰어난 성능을 보였습니다.

완전히 새로운 분야에서는 두 모델이 비슷한 수준이었으나, 실제 사용자의 구체적인 명령이 들어간 도메인 특화 질의에서는 ReALM이 미세 조정 효과 덕분에 GPT-4보다 의도를 훨씬 정확히 짚어냈습니다.

다만 연구진은 복잡한 공간적 위치 관계를 고도로 파악해야 하는 복잡한 질의의 경우 세부 정보를 일부 놓칠 수 있다는 한계도 함께 짚었습니다.

왜 중요한가

우리는 ReALM의 핵심 가치가 벤치마크 점수 그 자체보다, 스마트폰 위에서 온디바이스로 작동 가능한 '화면 인지 에이전트'의 지름길을 찾아냈다는 데 있다고 봅니다.

사용자 관점에서 이 기술이 향후 Siri에 들어가면 사용 경험이 크게 바뀝니다. 웹 서핑 중 화면에 뜬 식당 전화번호를 굳이 복사할 필요 없이 "여기로 전화해 줘" 한마디면 끝나게 됩니다.

업계 전반에도 던지는 메시지가 큽니다. 지난달 DarwinAI를 인수하고 MM1 모델 등을 연구해 온 Apple은 경쟁사들이 무거운 시각 모델로 밀어붙일 때, 화면 인식 문제를 텍스트 변환으로 치환해 연산 부담을 덜어내는 영리함을 보여줬습니다.

개인정보를 기기 밖으로 보내지 않고 배터리를 아끼면서 작동시키는 온디바이스 AI의 본질에 가장 가까운 접근입니다. Apple이 만들려는 것은 단순한 챗봇이 아니라, 화면을 직접 보고 조작하는 보이지 않는 비서라는 점이 분명해 보입니다.