OpenAI、新埋め込みモデル発表　GPT-3.5 Turbo値下げとGPT-4改善も

開発者たちが最近抱えていた二大ストレスといえば、GPT-4 が途中でコード生成を放棄する「サボり癖」と、検索拡張生成（RAG）を組む際のベクトル保存コストでした。

OpenAI はこれらを一気に解消する大型アップデートを公開しました。

目玉となるのは、2 つの新しい埋め込みモデル text-embedding-3-small と text-embedding-3-large です。2022 年末から定番として使われてきた text-embedding-ada-002 の後継となります。

ベクトルを短縮可能に、価格は最大 5 分の 1

軽量版の 3-small は、前世代と比べて価格が 5 分の 1 に引き下げられ、1000 トークンあたり 0.00002 ドルになりました。多言語検索ベンチマーク MIRACL のスコアは 31.4% から 44.0% へと大きく伸びています。

上位版の 3-large は最大 3072 次元を扱い、MIRACL では 54.9% を記録しました。こちらの価格は 1000 トークンあたり 0.00013 ドルです。

今回最も実用的な進化は、ベクトルの次元数を自由に切り詰められる点です。通常、高次元のベクトルはベクトル DB のメモリやストレージを大量に消費します。

新モデルでは API に dimensions パラメータを渡すだけで、末尾の数値を削って次元を圧縮できます。3-large を 256 次元まで削っても、従来の 1536 次元の ada-002 より高い精度を維持できるとされています。手元のデータベースの制限に縛られずに最高精度のモデルを利用できるようになりました。

サボりを減らした GPT-4 と、再値下げの GPT-3.5

生成モデル本体の改善も行われています。

新版のプレビューモデル gpt-4-0125-preview は、指示された作業を最後までやり切らない「サボり」の頻度を減らすよう調整され、非英語の文字化け問題も修正されました。

来週登場する gpt-3.5-turbo-0125 は、過去 1 年で 3 回目の値下げとなります。入力が 50% 安い 0.0005 ドル、出力が 25% 安い 0.0015 ドルになり、非英語の関数呼び出しのバグも修正されます。

また、API キーごとに権限（読み取り専用など）を付与したり、キー別で利用料金をトラッキングできる管理機能も追加されました。

なぜ重要か

社内文書検索や RAG を構築しているチームにとって、今回の更新は直接的なコスト削減につながります。埋め込み API 自体の値下げだけでなく、次元圧縮によってベクトル DB の維持費まで落とせるため、ada-002 を使い続ける理由はほぼありません。

業界全体から見ても、OpenAI はモデルの知能だけでなく実運用の泥臭い課題にしっかり手を打ってきました。GPT-3.5 のこの価格水準は、安さを売りにするオープンソースの中小モデルにとって大きな脅威になります。

私たちは、ベクトルの柔軟な切り捨てを公式機能として導入した設計が非常に巧みだと考えます。インフラ側の制約をモデル側の学習工夫で解決し、開発者が自社エコシステムから離脱する理由を綺麗に潰しています。