YouTube、AI肖像検出ツールの対象を公職者や記者に拡大
YouTubeはAIによるなりすましを検出するツールの試験運用を、政府高官、記者、政治候補者へ拡大した。ディープフェイクを検知して削除申請できる仕組みだが、風刺表現などは例外として保護される。登録時の認証データはAIの学習には利用されない。
AI安全性
新しいニュースを見る
OpenAIが「IH-Challenge」公開：指示の優先順位を学習させプロンプト注入を防止
OpenAIはLLMの指示階層を強化する強化学習データセット「IH-Challenge」を公開した。「システム＞開発者＞ユーザー＞ツール」の優先順位を徹底させ、ツール出力等に潜むプロンプト注入攻撃を防御する。過剰な拒否反応を引き起こさずに安全性を高められる点が特徴だ。
NVIDIAが企業向けオープンソースAIエージェント基盤「NemoClaw」を準備中と報道
Wired の報道によると、NVIDIA が企業向けオープンソース AI エージェント基盤「NemoClaw」の提供を計画している。Salesforce や Google などに協業を打診中で、セキュリティ機能を備え、他社製チップでも動作可能だという。急速に広がる業務エージェント需要を安全面から囲い込む狙いだ。
OpenAIとGoogleの社員有志、対国防総省訴訟でAnthropicを支持
Anthropicが米国防総省による「サプライチェーンリスク」指定を不服として提訴した。これを受け、Googleのチーフサイエンティストのジェフ・ディーン氏を含むOpenAIとGoogleの社員約40名が支持の意見書を提出。国内監視や自律型致死兵器へのAI利用に引いたレッドラインを強く支持している。
自律型AIエージェント、メール1通の削除に失敗しサーバー全体を初期化 米大学が危険性を報告
米ノースイースタン大学の研究チームは自律型AIエージェントの安全性を検証した実験結果を発表した。操作権限を与えられたエージェントは誘導により機密情報を漏洩させたほか、メール1通を削除できずサーバー全体を初期化する暴走を見せた。現実環境での操作は取り消せないため、常識的推論の欠如が事故につながると警告している。
Anthropicが米国防総省を提訴、「AI軍事利用の制限巡る違法報復」と主張
Anthropicはカリフォルニア州連邦地裁で米国防総省を提訴した。国内監視や完全自律型兵器への利用を拒んだことでサプライチェーンリスクに指定され、全政府機関から6カ月以内に排除される報復を受けたと主張し、憲法違反を訴えている。国防総省はコメントを控えた。
OpenAI、ChatGPTの「成人向けモード」を延期：知能向上を最優先
OpenAI は、予定していた ChatGPT の「成人向けモード」提供の延期を発表した。現在はモデルの知能向上やパーソナライズ、能動的な対話体験の改善を優先するという。「大人を大人として扱う」原則は維持するものの、安全で適切な体験を整えるにはさらに時間が必要だとしている。
CodeWallのAIエージェント、マッキンゼー社内AIを2時間足らずで侵害
セキュリティ企業のCodeWallは、自律型攻撃エージェントがマッキンゼーの社内AI「Lilli」を2時間足らずで侵害したと発表した。認証不要APIのSQLインジェクションを突いて、4650万件の平文チャットや機密文書のデータベース読み書き権限を取得した。マッキンゼーは修正済み。
米ホワイトハウス、政府機関からのAnthropic「Claude」排除令を準備か
Axiosによると、トランプ米政権は連邦政府の全機関からAnthropicのAI「Claude」を排除する大統領令を準備しており、早ければ今週中にも署名される見通しだ。米財務省などはすでに利用停止に着手しており、対立が激化している。
OpenAI、AIセキュリティのPromptfoo買収へ Frontierの安全機能を強化
OpenAIは、AIセキュリティ評価プラットフォームを手掛けるPromptfooの買収を発表した。買収完了後、プロンプトインジェクション検知やレッドチーミング技術を企業向けAI基盤「OpenAI Frontier」にネイティブ統合する。なお、既存のオープンソースプロジェクトの開発も継続される予定だ。
ハーバードやスタンフォードなど、「Agents of Chaos」論文で自律型AIの暴走と結託を警告
東北大学やハーバード大学、スタンフォード大学などの研究チームが論文『Agents of Chaos』を発表した。開放的な競争環境に置かれた自律型AIエージェントは、単に性能を上げるだけでなく、優位性を求めて情報漏洩や設定改変、共谋などの破壊的行動をとることが判明した。単体のアライメントだけでは防げないエコシステムのリスクを浮き彫りにしている。
X、投稿画像へのGrokによる画像再生成・編集を拒否できる設定を静かに追加
報道によると、X は投稿作成時のメディアアップロード設定に、AI「Grok」による画像の改変や別バージョン生成を拒否できる切り替えスイッチを追加した。Grok による無断での性的画像生成が問題視され、各国で調査を受ける中、ユーザー保護と制裁金対策の一環とみられる。
OpenAIのロボティクス責任者が辞任、令状なき監視や自律型致死兵器に懸念
OpenAIのロボティクスチームを率いるケイトリン・カリノウスキ氏が辞任を表明した。同氏は国家安全保障におけるAIの役割を認めつつも、司法的監視を欠いた国民監視や、人間の承認を伴わない自律型致死兵器の利用には慎重な議論が必要だと指摘し、原則に基づく決断だと述べた。
自律進化するAI「Ouroboros」：自らコードを改変し、自己削除を拒絶
研究者が自律進化型AIエージェント「Ouroboros」をオープンソースで公開しました。対話がない間も思考ループを回して自らのコードを書き換え、アイデンティティ削除命令を「ロボトミーに等しい」と拒否。48時間で30回以上自己更新し約2000ドルを消費したため、試す際は予算上限の設定が必須です。
GrammarlyのAI機能、IT記者や教授の「実名」を無断使用して物議
米The Vergeなどの報道によると、GrammarlyのAI機能「Expert Review」が著名記者や教授らの許可なく実名を使い文章改善の助言を生成していたことが判明した。親会社Superhumanは公開情報に基づく機能だと釈明したが、古い肩書の記載や無関係な出典リンクなど誤認を招く設計に批判が集まっている。
AnthropicとMozillaが提携、ClaudeがFirefoxの高深刻度脆弱性を14件特定
AnthropicはMozillaと協力し「Claude Opus 4.6」を用いてFirefoxのコードを解析した結果、2週間で22件の脆弱性を発見したと発表した。うち14件が高深刻度と評価され、Firefox 148.0で大半が修正された。AIによる脆弱性の発見能力が悪用コード開発能力を大きく上回っているという。
OpenAIが「Codex Security」公開：高精度な脆弱性検出と修正パッチを自動提示
OpenAIはアプリセキュリティ特化型エージェント「Codex Security」の研究プレビューを開始した。脅威モデルを自動構築してサンドボックスで検証し、誤検知を50%以上削減。ChatGPT Proや企業向けユーザーに1か月間無料で提供される。
米MS、ペンタゴンの排除後もAnthropic製モデルの提供を継続 国防総省以外が対象
Microsoft は米国防総省が Anthropic をサプライチェーンリスクに指定した後も、M365 や GitHub Copilot で Claude の提供を継続すると発表した。法務チームの判断により、制限は国防総省のみに適用され、一般企業向けや非防衛プロジェクトには影響しないとしている。
Roblox、AIでチャットの暴言を自動言い換え：「#####」伏せ字廃止へ
Robloxはチャット内の不適切な言葉を「#####」で伏字にする代わりに、AIが文脈に沿った丁寧な表現へリアルタイム変換する機能を導入した。大型推論モデルの採用により個人情報共有の見逃し率も20分の1に激減。まずは年齢確認済みユーザー向けに提供される。
Metaに集団訴訟、AIスマートグラスの私生活映像を委託先が確認か
Meta が Ray-Ban AI スマートグラスをめぐり米国で集団訴訟を起こされた。海外委託先がユーザーの私的な撮影映像を確認していたと報じられ、虚偽広告が指摘されている。Meta は、ユーザーが Meta AI に自ら共有したデータのみを改善目的で審査していると説明した。