Stability AI 发布日语图文模型 Japanese InstructBLIP Alpha：能认晴空塔与金阁寺

Japanese InstructBLIP Alpha 是 Stability AI 推出的首个日语视觉语言模型。简单来说，你给它一张图片，它能直接用日语描述画面内容，或者根据你用日语提出的具体问题给出解答。

怎么做出来的

训练非英语的多模态模型，最大的难题通常是高质量本地语言图文数据集太少。Stability AI 并没有从零从头训，而是做了一次很聪明的结构组合。

它的语言核心基于前不久发布的 70 亿参数大模型 Japanese StableLM Instruct Alpha 7B，视觉多模态架构则采用了在图文任务上表现出色的 InstructBLIP。

为了用有限的日语数据做出高水平模型，团队先用在海量英文数据集上训练好的 InstructBLIP 初始化了模型的部分模块，随后再使用有限的日语图文数据集进行针对性微调。这样一来，模型既继承了大规模英文预训练带来的丰富视觉常识，又学会了地道的日语表达。

能认本土建筑，支持图文问答

除了常规的看图说话，Japanese InstructBLIP Alpha 专门强化了对日本本土特征物体的认知能力。

比如给它一张风景或建筑照片，它能准确识别出东京晴空塔（Tokyo Skytree）或金阁寺（Kinkaku-ji）这类日本独有的地标，而不是笼统地当成普通高塔或庙宇。

在输入形式上，模型同时接受图片和文本输入。官方给出的应用场景包括以图搜图的图像搜索引擎、场景描述与问答，以及为视障人士提供画面文字描述等。

目前该模型已经托管在 Hugging Face Hub 上，开发者可以直接下载用于推理测试或做二次微调。需要留意的是，该模型目前仅面向研究目的开放。

为什么重要

对从事日语多模态应用或跨语言视觉研究的人来说，这个模型值得第一时间跑跑看。以往的开源图文模型普遍存在严重的英语偏置，遇到特定地域的文化符号和实体建筑时常常出现幻觉。

Stability AI 这套「英文预训练视觉特征 + 本地大模型基座 + 小数据集微调」的打法，为非英语多模态模型的低成本冷启动给出了一个实用样本。虽然仅限研究使用的协议暂时限制了商业落地，但它在本土实体认知上的表现，确实让日后真正的本土化视觉助手向前迈了一步。