Stability AI 釋出日語圖文模型 Japanese InstructBLIP Alpha：能認晴空塔與金閣寺

Japanese InstructBLIP Alpha 是 Stability AI 推出的首個日語視覺語言模型。簡單來說，你給它一張圖片，它能直接用日語描述畫面內容，或者根據你用日語提出的具體問題給出解答。

怎麼做出來的

訓練非英語的多模態模型，最大的難題通常是高質量本地語言圖文資料集太少。Stability AI 並沒有從零從頭訓，而是做了一次很聰明的結構組合。

它的語言核心基於前不久釋出的 70 億引數大模型 Japanese StableLM Instruct Alpha 7B，視覺多模態架構則採用了在圖文任務上表現出色的 InstructBLIP。

為了用有限的日語資料做出高水平模型，團隊先用在海量英文資料集上訓練好的 InstructBLIP 初始化了模型的部分模組，隨後再使用有限的日語圖文資料集進行針對性微調。這樣一來，模型既繼承了大規模英文預訓練帶來的豐富視覺常識，又學會了地道的日語表達。

能認本土建築，支援圖文問答

除了常規的看圖說話，Japanese InstructBLIP Alpha 專門強化了對日本本土特徵物體的認知能力。

比如給它一張風景或建築照片，它能準確識別出東京晴空塔（Tokyo Skytree）或金閣寺（Kinkaku-ji）這類日本獨有的地標，而不是籠統地當成普通高塔或廟宇。

在輸入形式上，模型同時接受圖片和文本輸入。官方給出的應用場景包括以圖搜圖的影像搜尋引擎、場景描述與問答，以及為視障人士提供畫面文字描述等。

目前該模型已經託管在 Hugging Face Hub 上，開發者可以直接下載用於推理測試或做二次微調。需要留意的是，該模型目前僅面向研究目的開放。

為什麼重要

對從事日語多模態應用或跨語言視覺研究的人來說，這個模型值得第一時間跑跑看。以往的開源圖文模型普遍存在嚴重的英語偏置，遇到特定地域的文化符號和實體建築時常常出現幻覺。

Stability AI 這套「英文預訓練視覺特徵 + 本地大模型基座 + 小資料集微調」的打法，為非英語多模態模型的低成本冷啟動給出了一個實用樣本。雖然僅限研究使用的協議暫時限制了商業落地，但它在本土實體認知上的表現，確實讓日後真正的本土化視覺助手向前邁了一步。