Hugging Faceが「Open CoT」順位表を公開:思考の連鎖による精度向上幅を可視化
Hugging Faceはモデルの絶対的な正解率ではなく、思考の連鎖(CoT)プロンプトによる正解率の向上幅(Δ)を競う「Open CoT Leaderboard」を公開しました。初期テストでは7Bクラスの軽量モデルが大型モデル以上に恩恵を受けるケースが見られる一方、状況によってはCoTが逆に精度を下げる例も確認されています。
Hugging Faceはモデルの絶対的な正解率ではなく、思考の連鎖(CoT)プロンプトによる正解率の向上幅(Δ)を競う「Open CoT Leaderboard」を公開しました。初期テストでは7Bクラスの軽量モデルが大型モデル以上に恩恵を受けるケースが見られる一方、状況によってはCoTが逆に精度を下げる例も確認されています。
Microsoft AIのMustafa Suleyman CEOがTEDトークに登壇し、AIの将来像について語った。同氏は開発者自身もAIの行く末を正確に言い表せていないと指摘し、AIを「新たなデジタル種」と見立てる新たな視点を提示した。
汎用エージェントプロジェクト「JAT」がオープンソースで公開された。Gatoの再現と改良を目指したもので、モデルとデータセットを同時提供。単一のTransformerで157のタスクに対応し、専門エージェント比65.8%の性能を達成している。
米DARPAは木曜日、AIが操縦する試験機「X-62A」が2023年9月に人間のパイロットが操縦するF-16との空中戦テストに成功したと発表した。両機は時速1,200マイルで距離2,000フィートまで接近したが、安全用の人間の搭乗員が制御権を取り戻す必要は一度もなかったという。
マイクロソフトは製造業向けのデータおよびAIソリューションを発表しました。Azure AI上の工場オペレーション用Copilotテンプレートにより、現場の作業員が自然言語で設備データを検索し、故障原因などを素早く特定できるようになります。現在はプライベートプレビューとして提供されています。
MetaのチーフAIサイエンティストであるヤン・ルカン氏は、大規模言語モデル(LLM)が人間レベルの知能に達することはないと述べた。推論や計画、物理世界の理解が欠けておりテキスト依存は行き止まりだと指摘、センサーや動画から学ぶ「世界モデル」への転換を提唱している。
OpenAIは大幅に改善された「GPT-4 Turbo」のAPI提供を開始し、ChatGPTへの展開も進めていると発表した。画像認識機能を持つ「GPT-4 Turbo with Vision」が一般提供となり、画像リクエストでもJSONモードや関数呼び出し(Function Calling)が使えるようになった。
Stability AIは7言語に対応した「Stable LM 2 12B」のベース版および指示チューニング版を公開した。2兆トークンで学習され、関数呼び出しやRAGシステムへの組み込みに適している。あわせて1.6B版もアップデートされた。非商用利用は無料で、商用には会員登録が必要となる。
Google DeepMindは3D仮想環境向け汎用AIエージェント「SIMA」を発表した。『No Man's Sky』など9つの商業ゲームで訓練され、専用APIを使わず画面映像と自然言語指示のみでキーボード・マウスを操作し、600の基本スキルを実行できる。ハイスコア目的ではなく指示通りに行動する汎用性の検証が目的だ。
Deepgramはリアルタイムのテキスト読み上げAPI「Aura」を発表した。0.5秒未満(多くは0.3秒未満)で自然な音声を生成し、1000文字あたり0.015ドルと低価格に抑えている。これにより、大規模言語モデルを活用したカスタマーサポート等のAIエージェントが即座に応答できるようになる。
月曜日、Google DeepMindは静止画1枚やスケッチからプレイ可能な2Dゲームを生成できる基盤世界モデル「Genie」を発表した。操作ラベルのない20万時間以上のゲーム動画から物理挙動と操作性を自律学習する。将来的なAIエージェントの訓練環境としても期待される。
The Information の報道によると、OpenAI はユーザーのデバイスを直接操作してタスクを実行する自律型 AI エージェントを開発中だという。テキスト生成にとどまらず、クリックや入力、アプリ間のデータ移行を代行する仕様とされる。一方で、端末の操作権限をクラウド AI に渡すことへのセキュリティ懸念も指摘されている。
The Browser Companyはデスクトップ版Arcブラウザに新AI機能を導入すると発表した。検索結果一覧を飛ばして目的のタブを直接開く「Instant Links」や、RSS等の更新を自動収集する「Live Folders」を追加する。AIが自動調査してページをまとめる「Arc Explore」も準備中だ。
OpenAIは有料ユーザー向けにChatGPTのチャット内で「@」を入力してカスタムGPTを呼び出せる新機能の提供を開始した。呼び出されたGPTは直前までの会話コンテキストをすべて引き継ぐ。GPT Storeの利用促進を狙う動きだが、現状カスタムGPTのトラフィックシェアは全体の約2.7%にとどまる。
技術ブログ記事で、暗号資産と AI が交差するユースケースの分類と課題が提示された。AI が予測市場のプレイヤーやウォレットの安全な UI として機能する活用法が有望視される一方、DAO やルールの裁定者として組み込む場合は敵対的機械学習攻撃のリスクが極めて高いと指摘されている。
OpenAI は開発者向けメールで、経営陣の解任劇で延期されていた「GPT Store」を来週ローンチすると通知した。カスタム GPT の公開や検索に加え、利用実績に応じた収益分配やランキング機能が用意される。AI エージェントにとって待望のエコシステム構築が本格化する。
研究チームはロボット制御を進化させる AutoRT、SARA-RT、RT-Trajectory を発表した。AutoRT は大規模基盤モデルで実環境データを安全に自動収集し、SARA-RT は注意機構を線形化して判断速度を 14% 向上。RT-Trajectory は軌跡情報で未知タスクの成功率を 2 倍以上に高めた。
Anthropicは商用利用規約を改定し、正規利用や生成物に関する著作権侵害の訴訟費用と賠償金を同社が負担する補償を発表した。あわせてプロンプト構築のエラーを防ぎ、今後のFunction Callingにも対応するMessages APIのベータ版も提供開始した。
OpenAIはGPT Builder登録者宛てのメールで、12月に予定していた「GPT Store」の開設を来年に延期すると発表した。アルトマンCEOの解任と復帰を巡る社内の混乱が影響した格好だ。同社はストアの準備を続けつつ、カスタムGPTツールの改善を進めている。
OpenAIのサム・アルトマンCEOは自作AIボットを作成できる新機能「GPTs」を全有料ユーザー向けに公開したと発表した。前日に発生したDDoS攻撃による世界規模のサービス停止で配信が遅延していたが、障害を無事収束させて本格展開に漕ぎ着けた。