19. 経営ダッシュボード¶
本章の読者は業務管理者・経営層を想定しており、参照のみのロールで到達できます。「グループ解決設定」だけは管理権限が必要です。
19.1. 何が見える画面か¶
この画面は、LLM の費用と利用状況を集計して、投資判断に活かすためのものです。障害や性能の問いは扱いません(そちらは「運用ダッシュボード」で扱います)。典型的には、次のような場面で使います。
- 一定期間のコスト・トークン消費を振り返り、前期間と比べてどう動いたかを確認したいとき
- どのエージェント・モデル・部門(グループ)・利用者がコストや利用回数の増加に寄与しているかを特定したいとき
- 単価が未設定のモデルがないか、コストの集計に漏れがないかを点検したいとき
サイトマップから「Copilot」→「Accel Agent」→「ワークスペース」を開き、画面左のサイドナビゲーションの「経営ダッシュボード」から移動します。
集計軸には、エージェント別、モデル別、グループ別、ユーザ別の 4 つがあります。既定の対象期間は 30 日間であり、7 日間を既定とする運用ダッシュボードとは異なります(経営判断を月次の視点で見るためです)。運用ダッシュボードと名前が同じ指標でも、実行種別(本番/テスト)を含めるかどうかやエラーの数え方が指標ごとに意図的に異なるため、値が一致しないことがあります(「金額を読むときの前提」)。
19.2. KPI の 5 枚¶
画面上部には、推定総コスト、失敗コスト、総トークン消費、本番実行回数、利用ユーザ数という 5 つの KPI が並びます。いずれも、前の期間との比較つきで表示されます。比較の呼称は期間の長さで変わり、7 日なら前週比、30 日なら前月比、それ以外(90 日、時間単位、カスタム期間)は前期間比を表示します。前期間の実績が無い場合は、比較値の代わりに「-(ハイフン)」が表示されます。
利用ユーザ数は、データの取得に失敗した場合でもエラーが表示されず、「0」と表示されることがあります。推定総コストや本番実行回数に値があるのに利用ユーザ数が「0」になっている場合は、画面を再読み込みしてください。
図:経営ダッシュボードの画面上部。絞り込みと集計軸の切り替え、5 つの KPI、コスト・トークン消費量の推移グラフが並ぶ。
19.3. 推移と内訳¶
コスト、トークン、利用回数については推移グラフがありますが、利用ユーザ数は KPI として表示されるのみで、推移グラフはありません。トークン消費量の推移だけは集計軸に連動せず、常に入力/出力の 2 系列で固定です(キャッシュ読み込み分は入力トークンの内数のため、積み上げると二重計上になり含めません)。
モデル別の内訳は、集計キーに人が付けた表示名ではなく、記録されたプロバイダのモデル識別子を使います。同じ表示名を複数のモデル定義に付けられるため、表示名からは単価を一意に決められないからです。
図:集計軸を「モデル別」に切り替えた状態。コスト推移のグラフが、モデルごとの系列に切り替わる。
利用統計のランキングは、集計軸を「グループ別」「ユーザ別」にしたときだけその軸に追随し、「エージェント別」「モデル別」を選んだ場合は常にエージェント別で表示されます。並び順は利用回数・コスト・失敗コスト・トークンの列で切り替えられますが、常に降順です。表示件数は「上位10件」「上位30件」「すべて」から選べ、既定は「上位10件」です。上位を選んだ場合、溢れた行は「その他」にまとめられます。
19.4. 金額を読むときの前提¶
指標ごとに、実行種別の扱いが異なります。利用回数は本番実行のみを対象とし、コストとトークンは本番・テストの両方を対象とします。
失敗コストは、ステータスがエラーで終了した実行のコスト合計で、母集団は推定総コストと同じ本番・テスト全体です。運用ダッシュボードのエラー率がガードレール ブロックを障害として除外するのに対し、失敗コストはガードレール ブロック由来のエラーも区別せず含みます。「エラー」という同じ言葉でも、金額の問いと品質の問いでは数えている対象が異なるため、両画面の数字は一致しません。
単価が未設定のモデルが含まれる場合、その旨を示すバッジが表示され、対象のモデルが「プロバイダモデルID(ドライバ名)」の形で注記に列挙されます。この可視化はスパン単位(LLM 呼び出し 1 回ごと)の件数であり、トレース一覧が出す「単価未設定のため金額を算出できない実行 N 件」(そのトレースの LLM 呼び出しがすべて単価未設定だった件数)とは数え方が異なります。1 つの実行の中に単価あり・なしが混在する場合、トレース一覧の件数には現れないまま金額だけが実態より小さくなるため、2 つの数字を突き合わせて一致を期待しないでください。
金額は USD で表示されます。画面右上の「1 USD =」の欄にレートを入力すると、表示だけを別の通貨に換算できます。使い方と注意点は「コストの見方」を参照してください。
19.5. グループ解決設定¶
グループ解決設定は、経営ダッシュボードの集計軸「グループ別」を使うための設定です。エージェントが実行されるたびに、実行したユーザがどのグループ(部門など)に属するかを判定して記録するため、コストや利用回数を部門ごとに集計できます。設定していない場合、グループ別の集計では、すべての実行が「未分類」として集計されます。
設定は、経営ダッシュボードの歯車アイコンから開く画面で、テナントに 1 件だけ行います。グループを判定するIM-LogicDesigner のロジックフローと、そのバージョン(未指定の場合は最新バージョン)を指定します。必要な権限は「参照のみのロールの作り方」を参照してください。
グループを判定するロジックフローは、次の入力値を受け取り、出力値を返すように作成します。
| 項目名 | 型 | 説明 |
|---|---|---|
| user_cd | 文字列 | エージェントを実行したユーザのユーザコード |
| 項目名 | 型 | 説明 |
|---|---|---|
| group_id | 文字列 | グループID(必須)。集計のキーとして使われます。半角英数字と記号(-、_、.、@、+、!)で、100 文字以内で返します |
| group_name | 文字列 | グループ名。画面に表示されます。255 文字以内で返します |
注意
グループ解決設定は、過去の実行には遡って適用されません。集計にグループ別の軸を使いたい場合は、本番運用を開始する前に設定しておく必要があります。フローがエラーになる、または想定外の戻り値を返す場合、該当する実行は「未分類」として記録され、実行そのものは継続します。
フローの処理に時間がかかると、その分だけエージェントの実行も遅くなります。判定結果はユーザごとに一定時間キャッシュされるため、遅くなるのは主に各ユーザの初回の実行です。
19.6. 読み違えやすい点¶
- キャッシュ効率(HIT率)は、分母(入力トークン)が 0 のとき「0%」ではなく「-(ハイフン)」と表示されます。前期間比を持たない唯一の指標で、並べ替えの対象にもなりません(値を高めるための打ち手が利用者側に無いためです)。ランキングの「その他」行にもこの値は出しません。
- 失敗コストは、実行種別(本番/テスト)ごとの内訳を確認する手段がありません。KPI が返す値は本番・テストを合わせた総額だけです。
- グループ・対象エージェントの選択肢は、期間だけで決まります。プロセス種別やモデルなど他の絞り込みをかけても、選択肢の一覧は変化しません。