구글, 온디바이스 함수 호출 특화 모델 'FunctionGemma' 공개

스마트폰에서 AI에게 손전등을 켜달라거나 일정을 추가해 달라고 요청할 때, 지금까지는 대부분 명령을 클라우드로 전송해 대형 모델의 연산을 거쳐야 했습니다. 네트워크가 끊기면 AI 비서는 먹통이 되기 일쑤였습니다.

구글이 이 과정을 온디바이스에서 완전히 끝내기 위한 전용 모델 FunctionGemma를 공개했습니다. 매개변수가 2억 7천만 개에 불과한 Gemma 3 270M을 기반으로 제작된 함수 호출 특화 모델입니다.

270M 초소형 모델로 구현한 온디바이스 도구 제어

구글에 따르면 2025년 Gemma 제품군의 누적 다운로드는 1억 건에서 3억 건 이상으로 급증했습니다. 초소형 모델인 Gemma 3 270M 출시 이후 개발자들 사이에서 가장 요청이 많았던 기능이 바로 네이티브 함수 호출이었습니다.

FunctionGemma는 대화를 길게 나누는 대신 자연어를 실행 가능한 API 호출로 바꾸는 일에 집중합니다. 도구를 실행할 정형화된 JSON을 생성하는 것은 물론, 실행 결과를 다시 자연어로 요약해 사용자에게 전달하는 흐름을 매끄럽게 처리합니다.

성능 개선 폭도 뚜렷합니다. 모바일 환경 작업을 평가하는 Mobile Actions 데이터셋에서 사전 미세조정 전 정확도는 58%에 그쳤지만, 도메인 특화 미세조정을 거치자 정확도가 85%까지 치솟았습니다.

Gemma 고유의 256k 토큰 어휘 사전을 채택해 JSON과 다국어 입력을 효율적으로 압축하며, 지연 시간도 크게 줄였습니다. NVIDIA Jetson Nano나 일반 스마트폰은 물론 웹 브라우저에서도 거뜬히 구동됩니다.

실제로 X의 개발자 @xenovacom은 Transformers.js를 활용해 브라우저에서 로컬로만 돌아가는 물리 시뮬레이션 퍼즐 데모를 선보였습니다. 구글 역시 음성 명령으로 작물을 심는 TinyGarden 게임 데모를 통해 완전 오프라인 환경에서의 동작을 입증했습니다.

왜 중요한가

우리는 FunctionGemma가 온디바이스 AI의 현실적인 방향성을 명확히 보여준 사례라고 봅니다. 모바일 기기에 무거운 범용 모델을 억지로 올리는 대신, 극도로 가벼운 모델에게 전자기기의 스위치이자 교통정리 역할을 맡긴 셈입니다.

스마트홈 기기나 모바일 앱 개발자라면 지금 즉시 테스트해 볼 가치가 충분합니다. 사용자의 명령을 외부 서버로 전송하지 않고도 즉각적인 반응 속도와 완벽한 데이터 프라이버시를 확보할 수 있기 때문입니다.

특히 복합 시스템의 라우터로 활용하는 설계가 돋보입니다. 시스템 설정 변경 같은 일상적인 제어는 FunctionGemma가 기기 안에서 밀리초 단위로 끝내고, 복잡한 맥락 추론이 필요한 작업만 상위 모델인 Gemma 3 27B나 클라우드로 넘기는 방식입니다.

물론 270M이라는 크기 한계상 프롬프트 입력만으로 복잡한 예외 상황을 처리하기는 어렵고, 안정적인 운영을 위해서는 자체 API에 맞춘 파인튜닝 과정이 필수적입니다. 그럼에도 온디바이스 환경에서는 어설픈 만능 모델보다 잘 훈련된 초소형 전문가가 훨씬 유용하다는 점을 명확히 증명했습니다.