18. 運用ダッシュボード¶

18.1. 何が見える画面か¶

この画面は、エージェントの実行を集計して「壊れていないか・遅くなっていないか」（品質・性能）を確認するためのものです。異常の兆候（エラー率の上昇、特定エージェントの遅延、ガードレールの発動など）に気づいたら、トレース一覧・詳細へ条件を引き継いだまま掘り下げる起点です。費用を横断的に分析する画面は「経営ダッシュボード」であり、本画面の「エージェント別ランキング」に出てくる「1実行あたりコスト」は異常検知の補助情報という位置づけです。

サイトマップから「Copilot」→「Accel Agent」→「ワークスペース」を開き、画面左のサイドナビゲーションの「運用ダッシュボード」から移動します。

期間、実行種別、プロセス種別、対象エージェント、使用モデルで絞り込めます。期間の既定は直近 7 日間で、1 時間・6 時間・24 時間・7 日・30 日・90 日・カスタム（開始・終了を指定）から選べます。

使用モデルの絞り込みは、その実行で実際に使われた全モデル（LLM 呼び出しのモデル名）が対象です。トレースが持つ主モデル（代表の 1 モデル）だけでは判定しないため、1 回の実行の中で一部だけ別モデルへルーティングした場合も、この絞り込みに含まれます。

図：運用ダッシュボードの画面上部。絞り込み、4 つの KPI、エラー率・応答時間・実行回数の推移グラフが並ぶ。

18.2. KPI の 4 枚¶

画面上部には、実行回数、エラー率、平均応答時間、ガードレール ブロックという 4 つの KPI が並びます。分母となる実行数が 0 件のとき、エラー率は「0%」ではなく「-（ハイフン）」と表示されます（母数が無い以上、率を定義できないためです）。

18.3. 推移グラフ¶

エラー率、応答時間、実行回数の 3 種類について、推移グラフが表示されます。系列の数が多い場合の扱いは指標によって異なります。実行回数は合算できるため、上位以外を「その他」にまとめて棒の高さ（総実行回数）を保ちます。一方、エラー率と応答時間は合算できない値のため、上位以外の系列は「その他」に束ねずに非表示とし、省略した件数を注記で示します。

応答時間推移は、対象エージェントの絞り込み方で見え方が変わります。「すべて」のときはエージェントごとの p90 を色分けした折れ線になり、特定のエージェント（または直接実行）に絞ったときは、その母集団の平均と分位点（p50・p90・p95・p99）の 5 本に切り替わります。

応答時間のグラフに出てくる値の意味は、次のとおりです。

これらの値は、組み合わせて見ることで、遅さの原因の見当をつけられます。

• 平均が p50 より大きく離れている: 一部の極端に遅い実行が、平均を引き上げています。トレース一覧を「実行時間」の長い順に並べ替えて、遅い実行を個別に確認します（「トレース一覧・詳細の読み方」）。
• p50 は安定していて、p95・p99 だけが上がっている: 大半の実行は普段どおりで、一部の実行だけが遅くなっています。特定の入力でツールの呼び出し回数が増えている、外部サービスの応答が遅いなど、条件が限られた原因を疑います。
• p50 を含めて全体が上がっている: すべての実行が遅くなっています。AIモデルの変更や、AIサービス側の応答の遅れなど、全体に影響する原因を疑います。
• 「すべて」を選んだときのエージェントごとの p90: エージェント同士の比較に使います。他より p90 が高いエージェントから確認します。

実行数が少ない期間では、p95・p99 は数件の実行だけで決まるため、値が大きくぶれます。例えば実行が 100 件未満なら、p99 はほぼ最も遅い 1 件の値です。上位の分位点は、ある程度の実行数がある期間で見るようにします。

いずれの推移グラフも、対象期間内に実行が無かった区間は「0%」「0 秒」ではなく、線を途切れさせて空欄で表します。実行が無かったことと、実行はあったが問題が無かったこと（0 の実績）を区別するためです。

18.4. 内訳と一覧¶

内訳と一覧は、知りたいことに応じて次のように使い分けます。

図：「スパン種別別 平均所要時間」「ツール別利用状況」「ナレッジ検索ゼロヒット」（ゼロヒットの割合と、検索クエリ・発生時刻の一覧）が並ぶ。

18.4.6. エージェント別ランキング¶

エージェントごとの状態を並べて比べます。

• 表示内容: 「エラー率」「平均応答時間」「p95応答時間」「ガードレール ブロック」「1実行あたりコスト」「1実行あたりトークン」「実行数」の列。
• 読み方: 既定ではエラー率の高い順に並ぶため、上から順に調べます。列見出しをクリックすると、その列で並べ替えられます。

図：「エージェント別ランキング」と「直近エラー一覧」。行をクリックすると、その条件を引き継いだままトレース詳細へ遷移する。

18.5. トレースへの掘り下げ¶

p90・p95・p99 を超えた外れ値や、特定のエラー種別、「直近エラー一覧」からは、その条件を引き継いだままトレースへ遷移できます。応答時間の外れ値は、いったん概要一覧のダイアログが開き、そこから個別のトレース詳細、またはダイアログ下部のボタンで条件付きのトレース一覧へ進みます。いずれの遷移も別タブで開き、ダッシュボード側の絞り込み状態は失われません。しきい値を設定してアラートを通知する仕組みは用意されていません。

18.6. 読み違えやすい点¶

• エラー率は、KPI とランキングではガードレールによるブロックを除外して計算されますが、推移グラフと直近エラーの一覧では、ガードレールによるブロックを含めて計算されます。
• 実行種別は、本番とテストの 2 択で、既定は本番です。テスト実行しか行っていない場合、画面には 0 件と表示されます。
• 単価が未設定のモデルによる実行 1 件のコストは、0 ではなく「-（ハイフン）」と表示されます。一方、「エージェント別ランキング」の「1実行あたりコスト」は複数実行の平均であり、単価未設定の呼び出しを含む行でも分母（実行数）を減らさずに算出します。そのため値は実態より小さく出ますが、値自体は隠さず表示したうえで警告を添えます。
• 直接実行（エージェント定義を経由しない実行）は、呼び出し元を区別せず 1 つのグループへ集約されます。個々の呼び出し元ごとの内訳は見られません。
• エラー種別内訳からトレース一覧へ掘り下げると、検査位置（入力／ツール入力／ツール出力／出力）の区別は引き継がれません。「ガードレール ブロック」で絞り込んだ場合、どの検査位置で止まったかはトレース詳細側で確認します。
• 「経営ダッシュボード」の失敗コストには、ガードレール ブロックで中断した実行も含まれます。ブロックされるまでに LLM を呼び出していれば、その分のトークンは消費されるためです。本章の KPI とランキングのエラー率はガードレール ブロックを除外するため、運用ダッシュボードでエラー率が 0% のエージェントでも、経営ダッシュボードでは失敗コストが計上されることがあります。
• 金額は USD で表示されます。画面右上の「1 USD =」の欄にレートを入力すると、表示だけを別の通貨に換算できます（「コストの見方」）。