MidjourneyがNYUと共同研究、LLMの「平凡な文章生成」打破へ

月に行った犬についての物語をAIに書かせると、たいていは宇宙飛行士に置き去りにされたペットか、陳腐な犬の宇宙ステーションの話に行き着きます。どれほど指示を工夫しても、生成されるストーリーには特有の「AIっぽさ」が漂いがちです。

Discordで約2000万人のユーザーを抱える画像生成AI大手のMidjourneyが、この問題に切り込みました。2024年夏末に独自ハードウェアの開発が報じられていた同社は今週、ニューヨーク大学（NYU）の機械学習研究者らと共同で、LLMのクリエイティブな文章力を向上させる論文をHugging Face上で公開しました。

なぜAIのストーリーテリングは画一化するのか

コーディングや事実に基づくQ&Aでは、AIには単一の最適な回答が求められます。しかし創作文は本来、オープンエンドで無数の正解がある領域です。

それにもかかわらず既存のLLMが同じようなプロットに収束してしまうのは、アライメントやインストラクションチューニングが原因です。モデルは「安全で平均的に好まれる回答」を優先して学習するため、ユニークな表現が平坦化されてしまいます。推論時に温度パラメータを上げる手法も、学習された根本的なバイアスを解消するわけではありません。

逸脱度を測って独創性を評価する

研究チームはこの課題を解決するため、DDPO（多様化直接選好最適化）とDORPO（多様化オッズ比選好最適化）という2つの手法を提案しました。

核となるアイデアは、回答の「逸脱度」を計算して学習に反映させることです。同一のプロンプトに対して複数の候補を生成し、他の回答との差異を測定します。

滅多に見られない斬新なアプローチでありながら、論理性と可読性が保たれている回答には、学習時の重みを大きく割り当てます。研究ではRedditの創作投稿コミュニティ「r/writingPrompts」のデータを用い、MetaのLlama-3.1-8BとMistralのMistral-7B-v0.3に対してLoRAを用いた微調と選好最適化を実施しました。

なぜ重要か

ライターやクリエイターにとって、AI生成テキストの最大の課題は陳腐さでした。推論時のランダムさに頼るのではなく、モデル自身が多様な文脈の展開を学習できるようになれば、創作のブレインストーミング相手としての実用性が格段に高まります。

業界全体にとっても、推論モデルやマルチモーダルへの巨額投資が続く中で、テキスト特化型Transformerのポストトレーニング手法にまだ大きな改善の余地があることを示しました。そして何より、画像生成に特化してきたMidjourneyの野心が見え隠れします。ハードウェア自社開発の動きに続き、テキストLLMの表現力向上に乗り出したことは、同社が単なる画像生成ツールから総合的なクリエイティブ基盤へ舵を切ろうとしている兆候と見るべきでしょう。

懸念点としては、逸脱度の強調が文脈の破綻や支離滅裂な展開を招くリスクと常に隣り合わせである点です。面白さと整合性のバランスを商用環境でどこまで維持できるかが、今後の普及の鍵を握りそうです。