MIT 演示 AI 直接重写模型权重:无需训练,仅改 0.016% 修复小模型缺陷
MIT 研究人员发现,OpenAI 的 GPT-6 Astra 能在不进行二次训练的情况下,直接读取并修改其他小模型的连续权重。在测试中,Astra 仅修改了 Qwen 模型 0.016% 的权重就修补了死循环缺陷,将其数学得分从 7.9% 拉高至 48.1%。这意味着前沿模型未来或能直接在底层手动升级 AI,无需依赖繁重的训练流程。
MIT 研究人员发现,OpenAI 的 GPT-6 Astra 能在不进行二次训练的情况下,直接读取并修改其他小模型的连续权重。在测试中,Astra 仅修改了 Qwen 模型 0.016% 的权重就修补了死循环缺陷,将其数学得分从 7.9% 拉高至 48.1%。这意味着前沿模型未来或能直接在底层手动升级 AI,无需依赖繁重的训练流程。
ScenemaAI 开源情感语音模型 Scenema Audio。它从 LTX 2.3 中提取出音频扩散架构,允许用舞台动作标签实时控制情绪起伏与环境音效,还支持零样本声音克隆。模型最低仅需 16GB 显存即可本地运行,支持 13 种语言。
Google 推出开源翻译模型系列 TranslateGemma,提供 4B、12B 和 27B 三个尺寸。模型基于 Gemma 3 并蒸馏了 Gemini 的能力,支持 55 种语言,12B 版本效果反超原本 27B 基准,且保留了直接翻译图片内文字的能力。
Google DeepMind 开源模型可解释性工具套件 Gemma Scope 2,全面覆盖 Gemma 3 从 270M 到 27B 的全系列模型。它结合稀疏自编码器与转码器,帮助研究人员看清模型内部计算过程,以此深入分析越狱、幻觉和思维链忠实度等安全隐患。
Google 发布基于 Gemma 3 的 T5Gemma 2 模型家族,成为首个支持多模态与 128K 长上下文的编码器-解码器架构。新模型通过合并注意力和绑定词嵌入精简参数,提供 3.7 亿至 70 亿等紧凑尺寸,专为端侧部署打造。目前仅提供预训练权重,需开发者自行微调。
Google 发布 FunctionGemma,基于 Gemma 3 270M 专门针对函数调用微调。它体积极小,能离线跑在手机或 Jetson Nano 上,微调后任务准确率从 58% 升至 85%,可充当本地独立智能体或复杂任务的分流调度器。
Google 发布开源端侧嵌入模型 EmbeddingGemma,体量仅 3.08 亿参数。它专为硬件本地运行打造,无需联网即可执行语义搜索与 RAG 检索,同时与 Gemma 3n 共用分词器以降低内存占用,兼顾了端侧隐私和多语言理解。
Google 推出超轻量模型 Gemma 3 270M,参数量仅 2.7 亿。它自带指令遵循和文本结构化能力,专为特定任务微调设计,旨在让开发者用极低成本与高速度搞定文本分类、数据提取等明确场景。
Google 推出开源医疗多模态模型 MedGemma 27B Multimodal 与轻量级图像文本编码器 MedSigLIP。两款模型均支持单卡运行,甚至可在移动硬件部署,旨在帮助医疗开发者自主掌控数据隐私与微调控制权。
Google 发布采用量化感知训练(QAT)的 Gemma 3 模型版本。通过将模型压缩至 4 位(int4),显存占用大幅下降,困惑度下降幅度减少了 54%。这意味着原本需要昂贵算力卡的 27B 大模型,如今在单张 RTX 3090 显卡上就能直接本地运行。
Google 发布新一代开源模型 Gemma 3,覆盖 1B 到 27B 四种尺寸。除 1B 外均支持图文输入,上下文拓宽至 128k,支持超 140 种语言。最值得关注的是,27B 版本跑分超越了 Gemini 1.5 Pro。