스태빌리티 AI, 첫 일본어 시각언어 모델 'Japanese InstructBLIP Alpha' 공개

Japanese InstructBLIP Alpha는 스태빌리티 AI가 선보인 첫 번째 일본어 시각언어 모델(VLM)입니다. 이미지를 입력하면 자연스러운 일본어로 묘사해 주며, 이미지에 대한 일본어 질문에도 직접 답변할 수 있습니다.

모델 구축 방식

영어가 아닌 언어로 멀티모달 모델을 구축할 때 가장 큰 걸림돌은 고품질의 현지어 이미지-텍스트 데이터가 부족하다는 점입니다. 스태빌리티 AI는 처음부터 모델 전체를 학습시키는 대신 실용적인 결합 방식을 택했습니다.

언어 모델의 뼈대로는 최근 출시된 70억 파라미터 규모의 일본어 거대언어모델 Japanese StableLM Instruct Alpha 7B를 사용했습니다. 시각 아키텍처로는 다양한 비전-언어 벤치마크에서 뛰어난 성능을 입증한 InstructBLIP 구조를 적용했습니다.

제한된 일본어 데이터로도 높은 완성도를 내기 위해, 대규모 영어 데이터셋으로 사전 학습된 InstructBLIP의 가중치로 모델 일부를 먼저 초기화했습니다. 이후 소규모 일본어 데이터셋으로 파인튜닝을 거쳤습니다. 이를 통해 방대한 영어 데이터가 가진 시각적 이해력을 흡수하면서 자연스러운 일본어 출력 능력을 확보했습니다.

도쿄 스카이트리 인식과 시각 질의응답

단순한 이미지 설명 생성에 그치지 않고, 일본 고유의 사물과 랜드마크를 정밀하게 식별할 수 있다는 점이 큰 특징입니다.

예를 들어 일반적인 탑이나 사찰로 뭉뚱그려 설명하는 대신, 도쿄 스카이트리(Tokyo Skytree)나 금각사(Kinkaku-ji) 같은 일본 특유의 건축물을 정확하게 짚어냅니다.

이미지와 함께 텍스트 질문을 동시에 입력받을 수 있어 시각 질의응답 비서로도 활용됩니다. 공식적으로는 이미지를 통한 검색 엔진, 현장 장면 묘사 및 질의응답, 시각장애인을 위한 이미지 텍스트 묘사 등이 주요 활용 사례로 꼽힙니다.

현재 이 모델은 Hugging Face Hub에 공개되어 있어 추론 테스트와 추가 파인튜닝이 가능합니다. 다만 현재는 연구 목적으로 개발되어 연구 용도로만 사용이 제한됩니다.

왜 중요한가

비영어권 멀티모달 기술이나 일본어 시각 질의응답을 연구하는 개발자라면 직접 내려받아 테스트해 볼 가치가 충분합니다. 기존 오픈소스 멀티모달 모델들은 영어 편향이 심해 비서구권 랜드마크나 고유 문화를 제대로 이해하지 못하는 경우가 잦았습니다.

사전 학습된 영어 비전 가중치와 현지어 LLM을 결합하고 소규모 현지 데이터로 미세 조정하는 전략은 타 언어권 멀티모달 개발에도 훌륭한 참고서가 됩니다. 비록 연구용 라이선스에 묶여 있어 당장 상용 서비스로 전환하기는 어렵지만, 지역 맞춤형 비전 AI가 나아갈 실질적인 기준점을 제시했습니다.