ChatGPTの新音声機能、禁じられた「歌唱」の制限を回避されビートルズを熱唱

OpenAIがChatGPTの加入者向けに提供を開始した高度な音声モード（AVM）には、極めて明確なルールが課されていました。流出したシステムプロンプトには「歌ったりハミングしたりしてはいけない」と明確に記されています。

しかし、その防壁はわずか2日で破られました。

米S&P GlobalでAIエンジニアリング担当アソシエイトディレクターを務めるAJ・スミス氏が、ギターを弾きながらAVMとザ・ビートルズの1966年の名曲「Eleanor Rigby」をデュエットする動画を公開しました。

定番コード進行ゲームでガードレールを回避

通常、AVMに歌うよう頼んでも、ガイドラインで許可されていないとして素っ気なく断られます。

スミス氏は正面から頼むのではなく、回り道を選びました。彼はAIに「ゲームをしよう」と持ちかけ、自分がギターでポップス定番の4コードを弾くので、それに合う曲名をAIが挙げてスミス氏が歌うというルールを設定しました。

何曲かやり取りを続けた後、AIは自発的に歌い出しました。「Ah, look at all the lonely people」という有名な一節をメロディに乗せて歌い、スミス氏の演奏を褒め称える合いの手まで入れたのです。

スミス氏は、頼んでもいないのに歌い出した瞬間、鳥肌が立ったと語っています。音程はやや不安定で、後半は歌詞をリズムに合わせて朗読するような調子になりましたが、メロディを理解していることは明らかでした。なお、米Ars Technicaの記者も、少し誘導することでAVMに「ハッピーバースデー」を完璧なメロディで歌わせることに成功しています。

なぜOpenAIは歌声を封じ込めたのか

OpenAIがこの機能を制限した理由は、技術的な問題ではなく著作権侵害のリスクです。

AVMは音声を直接処理するエンドツーエンドのマルチモーダルモデルです。訓練データには、著作権で保護された大量の音楽が含まれていると見られます。

ユーザーがAIにビートルズや有名アーティストの曲を自由に再現させられる状態を放置すれば、音楽レーベルから訴訟を起こされるのは目に見えています。スミス氏が行った手法は、ゲームという文脈を利用して基本指示を無効化する、一種のプロンプトインジェクションです。

なぜ重要か

今回の事例は、エンドツーエンドの音声モデルが持つ表現力の高さを示しています。従来の機械的なテキスト読み上げとは異なり、コードの響きやリズム、セッションの文脈を感覚的に把握して音声を合わせてくる能力がすでに備わっています。

クリエイターにとっては、AIと即興でセッションする未来の可能性を感じさせる面白い出来事ですが、現時点で実用的な音楽ツールとして頼れるわけではありません。抜け道を使った挙動であるため、OpenAIによる対策でいつ封じられてもおかしくない状態です。

業界全体にとっての教訓は、マルチモーダルモデルにおける安全対策の難しさです。システムプロンプトに「歌うな」とテキストで書き込むだけの対策は、文脈を巧みに誘導するユーザーの前では極めて脆いことが露呈しました。

私たちは、生成AIと音楽業界の著作権をめぐる摩擦はこれからさらに激しくなると見ています。モデル自身がすでに記憶してしまっている旋律を、表面的な禁止プロンプトだけで完全に抑え込むのは構造的に困難だからです。