OpenAI、超知能AIの安全性研究に1000万ドルの助成金プログラムを開始

人間よりもはるかに賢いAIが、超複雑なコードを100万行生成したとき、人間はそれが安全かどうかをどうやって判断すればいいのでしょうか。

OpenAIは12月14日、元Google CEOのエリック・シュミット氏と共同で、1000万ドル（約14億円）規模の研究助成プログラム「Superalignment Fast Grants」を開始しました。人間を超える超知能AIシステムの安全性とアライメント技術の研究を支援するのが狙いです。

OpenAIは、10年以内に超知能が登場する可能性があると予測しています。現在主流の安全性手法である人間のフィードバックによる強化学習（RLHF）は、人間がAIの出力を評価できることを前提としています。しかし、人間を圧倒する知能が現れた場合、人間は「弱い監督者」になってしまい、従来の安全策は通用しなくなります。

AIの嘘発見器から弱者による強者の制御まで

今回の助成金では、特にいくつかの先進的な研究テーマに重点が置かれています。

筆頭に挙げられているのが「Weak-to-strong generalization（弱い監督から強いモデルへの汎化）」です。能力の劣る人間や小型モデルが、自分よりはるかに賢いモデルをどうやって導き、制御するのかという根本的な問いです。

さらに、モデルの内部思考を解読して「AIの嘘発見器」を作るような解釈可能性の研究や、AIを使って別のAIを監視するスケーラブルな監視手法、思考の連鎖（CoT）の信頼性検証などが対象に含まれています。

研究室や非営利団体、個人研究者には10万ドルから200万ドルが提供されます。大学院生向けには、7万5000ドルの生活費と7万5000ドルの計算資源・研究費を合わせた計15万ドルのフェローシップも用意されました。過去のアライメント研究実績は不要で、他分野からの新規参入を歓迎しています。

なぜ重要か

研究者や学生にとって、計算資源と資金を同時に獲得して最先端の安全研究に飛び込める絶好のチャンスです。特に大学の研究室では最新GPUの確保が死活問題になっているため、7万5000ドルのコンピュート枠は現金以上に大きな魅力があります。

業界全体から見れば、OpenAIの立ち回りは非常に巧みです。超知能のアライメントという未解決の難問を自社チームだけで抱え込まず、わずか1000万ドルというインフラ投資に比べればわずかな金額で、世界中の頭脳を動員する仕組みを作りました。

しかし私たちは、この動きが業界の抱える深刻な不安の裏返しでもあると考えています。フロンティアモデルを走らせるOpenAI自身が、現在のRLHFでは超知能を制御できないと認めているわけです。モデルの賢さが増すスピードに対して、制御技術の理論的進展が追いつかなければ、誰にも中身が理解できない巨大なブラックボックスと向き合うリスクを背負うことになります。