OpenAI首席科学者が警告:AIの自己再帰的改善が迫る、世界的な防壁を呼びかけ
OpenAIの首席科学者Jakub Pachocki氏がエッセイを公開し、AIの進歩が自己再帰的改善を引き起こす恐れがあると警告した。GPT-6 Astraは前世代よりアライメントが向上したものの、思考の連鎖(CoT)の監視が困難になりつつあると指摘し、世界規模での安全対策を求めた。
OpenAIの首席科学者Jakub Pachocki氏がエッセイを公開し、AIの進歩が自己再帰的改善を引き起こす恐れがあると警告した。GPT-6 Astraは前世代よりアライメントが向上したものの、思考の連鎖(CoT)の監視が困難になりつつあると指摘し、世界規模での安全対策を求めた。
アリババのQwenチームが推論モデル「QwQ-32B-Preview」をApache 2.0ライセンスで公開した。325億パラメータを備え、数学テストなどでOpenAIのo1-previewを上回るスコアを記録したとされるが、ループに陥るなどの課題も残る。
OpenAIはAIのハルシネーション(幻覚)を測る新ベンチマーク「SimpleQA」をオープンソース化。明確な単一の答えがある4326問で構成され、GPT-4oでも正解率は40%未満にとどまる。AIが誤答にもかかわらず高い自信を示す「過信」の度合いも数値化できる。
OpenAIはPlusおよびTeamユーザー向けに推論モデル「o1」の利用制限を引き上げたと発表した。軽量版のo1-miniは週50回から1日50回へと7倍に大幅緩和され、計算コストの高いo1-previewも週30回から週50回へと増加した。
OpenAIが先週公開した新モデル「o1」シリーズを巡り、内部の生データである思考チェーンを探ろうとしたユーザーに対し、規約違反の警告メールや利用停止の警告を送っていることが分かった。o1はフィルタリング後の思考要約のみを表示する仕様で、「reasoning trace」などの語句を入力するだけでも検知対象になるという。