Sakana AIが「Transformer²」発表：脳のように重みを自己適応、LoRAを凌駕
Sakana AIは入力タスクに応じてリアルタイムに重みを動的調整する「Transformer²」を発表した。特異値微調（SVF）と強化学習を組み合わせ、LoRAよりはるかに少ないパラメータ数で数学やコード生成性能を大きく向上させた。
Sakana AI
新しいニュースを見る
Sakana AIが汎用記憶機構を発表、不要な情報を忘れることで性能向上
Sakana AIは人間の記憶のように不要なトークンを取捨選択する「ニューラル・アテンション・メモリ・モデル（NAMM）」を発表した。進化型アルゴリズムで最適化され、メモリ消費を抑えながら長文推論性能を向上させる。言語で獲得した記憶機構は、追加学習なしで画像認識や強化学習モデルにもゼロショット転移できる。
Sakana AIが「CycleQD」を発表：微調整なしで複数スキルを統合する進化型フレームワーク
Sakana AIの研究チームは、高コストな微調整を行わずに特化型モデルのスキルを統合できる新フレームワーク「CycleQD」を開発した。遺伝的アルゴリズムに基づく交叉と変異を活用し、Llama 3-8Bを用いた検証では従来の微調整やモデルマージ手法を上回る性能を示した。
Sakana AI、論文執筆から査読まで全自動化する「The AI Scientist」公開：1本15ドル
Sakana AIはオックスフォード大学らと共同で、研究プロセスを完全自動化する「The AI Scientist」を発表した。アイデア出しから実験、グラフ生成、LaTeXでの論文執筆、さらにはAIによる査読までを一貫して行い、1本あたり約15ドルで生成できる。コードもGitHubで公開された。
Sakana AI、浮世絵特化の画像生成モデル「Evo-Ukiyoe」などを公開
Sakana AIは、日本の伝統的な浮世絵に特化した画像生成モデル「Evo-Ukiyoe」と着色モデル「Evo-Nishikie」を発表した。立命館大学アート・リサーチセンターが所蔵する2万4000点超の作品データでLoRA微調整されており、テキストからの生成やモノクロ古書の着色に対応する。Hugging Face上でコードとともに公開中だ。