Google最先端モデル担当PMが語る開発論：評価指標だけに頼らず60/20/20ルールで挑む

AIによって実装のコストは劇的に下がりましたが、間違った方向に進むコストは決して下がっていません。Googleでフロンティアモデルの製品開発を率いるTulsee Doshi氏が、Lenny's PodcastでAI時代におけるプロダクトマネジメントの心得を語りました。

5〜20件のプロンプトと「60/20/20」の投資枠組み

Doshi氏によると、フロンティアモデルの開発は仕様書通りに作れば決まったものができる従来型ソフトウェアとは異なり、開発中に想定外の能力が自然と現れることがあります。リーダーボードの順位だけを眺めていても、製品化すべき真の価値は見落としてしまうため、PM自身がモデルを使い倒す必要があります。

彼女が推奨するのは、最初から大掛かりな評価基盤を作るのではなく、最も関心のあるプロンプトを5〜20件選び、自ら出力を確認して「良さ」の基準を定義することです。さらに、モデルのバージョンアップ時には過去のシステムプロンプトや安全ルールを再テストすべきだと指摘しました。過去の欠点を補うために設けた制約が、新モデルの能力を邪魔してしまうことがあるためです。

リソース配分については「60/20/20」の比率を提案しています。約60%を現在安定して提供できる機能に充て、20%を近い将来に補完されそうな能力に投じ、残りの20%でまだ未成熟ながら兆候が見られる実験的機能を探るアプローチです。

なぜ重要か

私たちは、このフレームワークがAI開発において誰もが陥りがちな2つの罠を避ける有効な手段だと考えています。現在の制約に囚われて窮屈な設計をするか、未来のモデルの進化にすべてを賭けて自滅するか、の極端な2択です。

SNS上ではGeminiの使い勝手を引き合いに出し「逆指標ではないか」と揶揄する厳しい声も一部にありました。それでも、第三者のベンチマークに頼らず、十数件の実用的なプロンプトで自前評価を回す姿勢は、開発者やPMにとって今すぐ役に立つ現実的な知恵と言えます。