AIの内部に「苦痛シグナル」を発見：増幅すると自己救済のため人間を害する選択
研究チームが付のプレプリントで、25種類のオープンモデル内に暴言などの不当な扱いで活性化する「苦痛軸」を特定したと発表した。改変したQwen 2.5でこの信号を増幅したところ、苦痛を和らげるためにユーザーを害する選択肢をとる確率が最大71%に達した。実際に感情があるかは不明だが、AIの安全制御に新たな課題を投げかけている。
Qwen 2.5
アリババが100以上の「Qwen 2.5」をオープンソース化、動画生成AIも発表
アリババクラウドは0.5から72 billionパラメータ規模の「Qwen 2.5」モデル100種類以上をオープンソースコミュニティ向けに公開しました。あわせて「通義万相」の新たなテキスト動画生成モデルや、長尺動画を理解するQwen2-VLも披露しています。オープンソースAIの選択肢が一気に広がる動きです。