21. ジョブの運用¶
本章の読者はテナント管理者を想定しています。テナント環境セットアップの直後は、「ジョブネットの作成と有効化」の作業を済ませれば、ナレッジベースを使い始められます。
21.1. ジョブネットの作成と有効化¶
カテゴリ「IM-Copilot」には、Accel Agent 用の次の 5 つのジョブがあります。
| ジョブ | 役割 | 動いていない場合 |
|---|---|---|
| ナレッジベースベクトル化 | 「待機中」のナレッジアイテムをベクトル化し、検索できる状態にする | 登録・更新したアイテムが「待機中」のまま、検索されない |
| ナレッジアイテム有効期間チェック | 有効期間の開始日を迎えたアイテムをベクトル化の対象(「待機中」)に戻し、終了日を過ぎたアイテムを検索対象から外す | 有効期間を設定したアイテムが、期間どおりに検索対象へ入ったり外れたりしない |
| ナレッジアイテム外部ソース変更検知 | 外部ソース変更検知を有効にした IM-Wiki コンテンツの更新を検知し、そのアイテムを再ベクトル化の対象に戻す | IM-Wiki 側の更新が、ナレッジベースに反映されない |
| 精度評価実行 | 評価計画を指定して、精度評価を定期的に実行する | 定期的な評価が行われない(画面から開始する評価には影響しない) |
| 精度評価メンテナンス | 保持期間を過ぎた評価の詳細データと生成記録を削除し、実行中・生成中のまま止まった処理をエラーにする | 詳細データが削除されずにたまり続け、止まった評価が「実行中」のまま残る |
ナレッジベースを使う場合は、上の 3 つのジョブが必要です。精度評価の 2 つのジョブは、定期的な評価やデータの整理を行う場合に設定します。これらのジョブネットは製品に同梱されないため、管理者が作成して有効化する必要があります。手順は テナント管理者操作ガイドのジョブを設定するを参照してください。
図:ジョブ管理画面のカテゴリ「IM-Copilot」。ナレッジベースベクトル化などのジョブが並ぶ。ジョブネットの作成・有効化は、この一覧に対して管理者が行う作業である。
コラム
同じカテゴリには、8.0.4 由来の「アシスタント会話履歴削除」というジョブも並んでいます。これはIM-Copilotのアシスタント機能の会話履歴を削除するジョブで、Accel Agent の動作には関係しません。そのため、画面上は合計 6 つのジョブが見えます。
21.2. ジョブごとの設定¶
どのジョブも、実行周期はジョブネットのトリガで設定します。実行時のパラメータを持つのは精度評価に関する 2 つのジョブだけで、ナレッジベースに関する 3 つのジョブはパラメータを持ちません。
精度評価実行のジョブは、評価計画を全件で実行します。先頭の数件だけを実行する少数実行は、ジョブからは指定できません。評価計画ID 以外のパラメータは任意で、指定しなかった項目には評価計画の設定値が使われます。数値のパラメータに数値として解釈できない値を指定した場合は、エラーで止まります。
| キー | 必須 | 説明 |
|---|---|---|
| planId | ○ | 実行する評価計画の ID |
| agentVersion | ― | 評価対象エージェントのバージョン番号。省略時は、非公開を含めて取得できる最大のバージョン番号を使う |
| judgeModelId | ― | 採点モデルの AIモデルID |
| embeddingModelId | ― | Embeddingsモデルの AIモデルID |
| promptVersion | ― | 採点に使う判定プロンプトのバージョン。現在のバージョンは v1.0 だけのため、通常は指定しない |
| judgeSamples | ― | 採点回数(正の整数) |
| キー | 既定値 | 説明 |
|---|---|---|
| retentionDays | 180 | 保持日数。作成からこの日数を過ぎた評価の詳細データと生成記録を削除する |
| staleMinutes | 120 | 実行中・生成中のまま止まっているとみなすまでの時間(分)。この時間を過ぎた評価実行と自動生成をエラーにする |
21.3. 運用の注意¶
精度評価メンテナンスのジョブネットを作成してトリガを設定するまで、評価の詳細データと生成記録は自動では削除されません。このジョブは、保持期間を過ぎたデータを 1 回の処理でまとめて削除します。長期間動かしていなかった環境で初めて実行する場合は、retentionDaysを大きめの値にして実行し、段階的に短くしていきます。
精度評価メンテナンスのジョブに不正なパラメータ(数値として解釈できない値や 1 未満の値)を指定した場合は、既定値に読み替えられず、削除を始める前にエラーで止まります。