Sakana AI 提出 Transformer²:像活脑一样实时调整权重,性能反超 LoRA
Sakana AI 发布自适应架构 Transformer²。它先分析任务需求,再通过强化学习训练的奇异值微调动态调整模型权重。其参数量远少于 LoRA,却在数学、代码与视觉任务中全面占优,甚至支持跨模型复用能力。
Sakana AI 发布自适应架构 Transformer²。它先分析任务需求,再通过强化学习训练的奇异值微调动态调整模型权重。其参数量远少于 LoRA,却在数学、代码与视觉任务中全面占优,甚至支持跨模型复用能力。
Sakana AI 推出神经网络注意力记忆模型 NAMMs,模仿人类大脑机制让模型主动剔除冗余 token。该系统通过演化算法优化注意力矩阵,在压缩显存的同时提升了长文本推理表现,还能零样本直接迁移到视觉和强化学习模型中。
Sakana AI 研究人员开发出名为 CycleQD 的新框架,通过进化算法直接融合多个不同专长的小模型。该方法利用模型合并与矩阵分解进行交叉和变异,测试显示其在代码、数据库和系统操作任务上的表现超过了传统微调与模型合并,算力消耗大幅降低。
Sakana AI 联合牛津大学等机构推出首个全自动科研系统 The AI Scientist。它能端到端完成从头脑风暴、写代码做实验、绘制图表到撰写 LaTeX 论文及自动化同行评审的全流程,单篇成本约 15 美元,已在 GitHub 开源。
Sakana AI 推出两款专注于传统浮世绘的图像生成模型 Evo-Ukiyoe 与 Evo-Nishikie。前者可由文本生成江户浮世绘风格图像,后者能为单色古籍版画自动上色,两者均基于立命馆大学逾 2.4 万件标注作品微调。模型目前已在 Hugging Face 开源,仅支持日语提示词。