OpenAIがEvals APIを公開、プロンプト評価とテストを自動化
OpenAIはプロンプトやモデル出力の評価をコードから自動実行できる「Evals API」を公開した。従来ダッシュボード上で行っていた検証をPythonスクリプトやYAMLで定義でき、CI/CDパイプラインに組み込んで単体テスト感覚で品質を管理できる。
OpenAI Evals
OpenAI、次世代モデル「GPT-4」を発表 画像入力対応で司法試験も上位10％
OpenAIはマルチモーダルAIモデル「GPT-4」を発表した。画像とテキストの入力に対応し、模擬司法試験ではGPT-3.5の「下位10％」から「上位10％」へと大幅にスコアを伸ばした。テキスト入力はChatGPT PlusおよびAPIの待機リスト向けに提供を開始し、画像機能は順次公開予定。