Poolsideがコード特化MoE「Laguna S 2.1」公開：活性化8Bで超巨大モデルに匹敵
Poolsideはコード生成モデル「Laguna S 2.1」を公開した。総パラメータ118B、推論時の活性化パラメータはわずか8BのMoE構成で、100万トークンの文脈に対応する。思考モード有効時のDeepSWEスコアは40.4%に達し、超大型モデルに匹敵する性能をローカル環境で実現する。重みはすでに公開中。
Poolside
Poolsideがプログラミング特化のLaguna XS.2をオープンソース公開、端末エージェントも登場
Poolside はエージェント型コーディングに特化した基底モデル「Laguna M.1」とオープンモデル「Laguna XS.2」を発表した。XS.2 は総パラメータ 33B・活性 3B の軽量設計で Apache 2.0 の下公開され、単一 GPU で動作する。あわせてターミナルエージェント「pool」などのプレビュー版も提供開始した。
EleutherAI、著作権侵害なしの8TB訓練データセット「Common Pile v0.1」を公開
EleutherAIはHugging Faceらと開発した8TBのAI訓練データ「The Common Pile v0.1」を公開した。許諾済みおよびパブリックドメインの文書のみで構成され、これで訓練した7Bモデル「Comma」は初代Llamaに匹敵する性能を示した。