精度評価実行¶
ジョブ概要¶
指定した評価実行計画の精度評価を実行します。このジョブが行うのは精度評価の開始までです。評価の本体は非同期で実行されるため、ジョブは評価を開始した時点で終了します。評価を開始できなかった場合(評価実行計画が存在しない、データセットが存在しない、採点条件を決定できない、採点モデルが削除されている、同じ評価実行計画の評価が実行中など)はエラー終了します。評価の開始後に発生したサンプル単位の失敗は、評価の実行結果側にエラーとして記録され、ジョブの実行結果には影響しません。少数実行(先頭N件のみの実行)は指定できません。ジョブによる実行は常にデータセットの全件が対象です。
実行パラメータ¶
ジョブに指定するパラメータリストです。採点条件のパラメータ(judgeModelId、embeddingModelId、promptVersion、judgeSamples)は未指定(空文字)の場合、評価実行計画の設定値が使用されます。
キー 値 名前 必須 デフォルト値 planId 評価実行計画ID 必須 agentVersion エージェントバージョン judgeModelId 判定モデルID embeddingModelId 埋め込みモデルID promptVersion 判定プロンプトバージョン judgeSamples 採点回数
planId¶
キー名 評価実行計画ID 実行する評価実行計画のIDを指定します。未指定の場合、ジョブはエラー終了します。
agentVersion¶
キー名 エージェントバージョン 評価対象のエージェントのバージョンを数値で指定します。未指定の場合は最新のバージョンが対象です。数値に変換できない値を指定した場合、ジョブはエラー終了します。
judgeModelId¶
キー名 判定モデルID 採点に使用する判定モデルのAIモデルIDを指定します。未指定の場合は評価実行計画の設定値が使用されます。
embeddingModelId¶
キー名 埋め込みモデルID 採点に使用する埋め込みモデルのAIモデルIDを指定します。未指定の場合は評価実行計画の設定値が使用されます。
promptVersion¶
キー名 判定プロンプトバージョン 採点に使用する判定プロンプトのバージョンを指定します。未指定の場合は評価実行計画の設定値が使用されます。
judgeSamples¶
キー名 採点回数 1サンプルあたりの採点回数を数値で指定します。1以上の整数を指定してください。未指定の場合は評価実行計画の設定値が使用されます。数値に変換できない値、または0以下の値を指定した場合、ジョブはエラー終了します。