16. 実行を追う(トレース)¶
16.1. 何が見える画面か¶
この画面は、エージェントの実行を一覧・絞り込みし、気になる 1 件をスパン単位まで掘り下げて原因を確認するためのものです。典型的には、次のような場面で使います。
- 運用ダッシュボードで異常の兆候(エラー率の上昇、特定エージェントの遅延、ガードレールの発動など)に気づいたとき(「トレースへの掘り下げ」)
- 精度評価で失敗ケースを見つけ、指標だけでは分からない中身を確認したいとき(「評価結果からトレースへ」)
- 利用者から個別の問い合わせがあり、特定の実行を直接調べたいとき
サイトマップから「Copilot」→「Accel Agent」→「ワークスペース」を開き、画面左のサイドナビゲーションの「トレース」から移動します。
トレースは、1 回の実行を構成する個々の処理単位(スパン)を、親子関係を持つ木構造として記録したものです。例えば「実行全体」のスパンの中に「イテレーション」のスパンがあり、その中に「モデル呼び出し」「ツール呼び出し」などのスパンが入ります。スパンの種別には、実行全体、イテレーション、モデル呼び出し、ツール呼び出し、ナレッジ検索、ガードレールなどがあります。
エージェントの実行に加えて、エージェント定義を経由しないIM-Copilotの生成AIの呼び出し(チャット アクション・埋め込み アクションなど)も、プロセス種別「直接実行」として記録されます。
画面は一覧と詳細の 2 段構成です。トレース一覧は、原因そのものは示さず、「いつ・どのエージェントが・どれだけ時間とコストを使い・どう終わったか」を並べて、掘り下げる実行を選ぶための画面です。トレース詳細は、選んだ 1 件について、スパンの木・時系列・中身まで掘り下げて原因を読むための画面です。
16.2. トレース一覧・詳細の読み方¶
| 一覧の列 | 内容 |
|---|---|
| ステータス・開始時刻・プロセス種別・プロセス名・バージョン | 実行の基本情報 |
| 実行時間 | 1 秒未満はミリ秒、それ以上は秒で表示 |
| LLM 呼び出し回数 | この実行で LLM を呼んだ回数 |
| コスト・実行種別・エラー種別 | コストは単価未設定の場合「-(ハイフン)」。エラー種別は値があるときだけバッジ表示 |
イテレーション回数は列としても絞り込みとしても持ちません。イテレーション回数は実行ストラテジによって「1 回のイテレーションで LLM を何回呼ぶか」が変わり、繰り返しの多さを比べる指標として意味が揺れるためです。この代わりに、ストラテジによらず同じ意味を持つ LLM 呼び出し回数に一本化しています。
一覧の絞り込みは、期間・プロセス種別・エージェント・バージョン(エージェントを選んだときだけ表示)・ステータス(「すべて」「エラー」「正常」の 3 つ。初期表示は「すべて」)・エラー種別(ステータスを「エラー」にしたときだけ表示)・実行種別・所要時間(下限・上限)・使用モデル・LLM 呼び出し回数(下限・上限)・要注意実行(「ツールエラーあり」「出力リトライあり」を独立した ON/OFF で指定し、両方 ON なら両方に該当する実行だけを絞り込む)です。並べ替えができるのは、開始時刻(既定・降順)・実行時間・LLM 呼び出し回数・コストの 4 列だけです。1 ページは 20 件です。
詳細画面は、上から、実行全体の概要(サマリ帯)、スパンツリー(ウォーターフォールを兼ねる)、スパン詳細の 3 段で構成されます。サマリ帯には実行全体の状態・トークン数・コスト・イテレーション数・LLM 呼び出し回数が並びます。スパンツリーは親子構造とウォーターフォール形式の時系列を兼ね、初回トークンが返るまでの時間(TTFT)はモデル呼び出しスパンを選んだときにスパン詳細で確認できます。プロンプト・応答・ツールの入出力は折りたたみで表示され、プロンプトだけは既定で閉じています(本文が長く、開いたままだと後続の項目が画面から隠れるためです)。
図:トレース詳細画面。モデル呼び出し・ツール呼び出し・ナレッジ検索のスパンが、親子構造とウォーターフォールで並ぶ。
トレースからは、そのエージェント定義の編集画面へ逆リンクできますが、これはエージェント経由の実行の場合だけです。エージェント定義を持たない実行では、リンクの代わりに理由が表示されます。逆リンクの文言には選択中のスパンに応じたセクション名が表示されますが、移動先はエージェントID とバージョンに対応する編集画面です。セクションは指定されません。
16.3. 評価結果からトレースへ¶
精度評価の結果画面からは、対応するトレースへ辿ることができます。指標だけでは分からない失敗の内容を、トレースの詳細で確認します。
16.4. コストの見方¶
トークンの単価は AIモデル管理で設定します。精度評価では、対象エージェントの実行コストと採点コストが別々に記録されます。対象コストは対象エージェント自身が使うモデルの単価から、採点コストは採点モデルと Embeddings モデルの単価から、それぞれ算出されます。データセットの自動生成や改善提案の呼び出しにも別途コストがかかるため、評価実行の一つの金額を総費用として扱うことはできません。
コラム
単価が未設定のモデルによる実行は、コストが 0 ではなく「-(ハイフン)」と表示され、金額の集計から除外されます。画面には除外された件数の注記が表示されますが、トレース一覧はトレース単位、経営ダッシュボードはスパン単位で件数を数えているため、両者の件数は一致しません。単価ありと単価なしの実行が混ざっている場合、一覧の件数には現れず、金額だけが実態より小さく見えます。
金額は USD で集計・表示されます。画面右上の「1 USD =」の欄に通貨単位(既定は「¥」)とレートを入力すると、画面上の金額をその通貨に換算して表示できます。運用ダッシュボードと経営ダッシュボードでも、同じ欄で換算できます。換算は表示のためだけの概算で、集計は USD のまま行われます。入力したレートと通貨単位は保存されず、画面を開き直すと USD の表示に戻ります。為替レートは日々変動するため、期間の集計を 1 つのレートで換算した値は、あくまで概算として扱ってください。
16.5. 外部の監視基盤で追う¶
「トレースの外部送出設定(OTLP)」でトレースの外部送出を有効にした場合、外部の監視基盤にはトレース(スパン)だけが送られます。メトリクス、ログ、監査ログは送出の対象に含まれません。プロンプトや応答の本文も送られず、送られるのは属性のみです。どこまで細かい属性が送られるかは、内部のダッシュボードで見る場合との使い分けの判断材料です。
16.6. 保持期間と閲覧権限¶
スパン詳細(プロンプト・応答・ツールの入出力・検索クエリなど、実行内容の本文)は、保持期間を過ぎると参照できなくなります。実行の記録自体は一覧に残りますが、詳細画面を開くと本文の代わりに「保持期間超過のため表示不可」という案内に置き換わります。
トレースを参照する権限は、一覧と詳細で分かれていません。一覧を見られる利用者は、実行内容の本文(プロンプト・応答・ツールの入出力など)も含めて、テナント内の全実行を参照できます。「一覧だけ見せて中身は見せない」という権限の分け方は現在できないため、権限を割り当てる際はこの点を踏まえます。
16.7. 読み違えやすい点¶
- トレース一覧のコスト列の「-(ハイフン)」は 0 ではなく、単価未設定で金額を算出できないことを示します。実際にコストが 0 で終わった実行(LLM に到達する前に終了した実行など)は「$0.0000」と表示され、区別されます。
- サマリ帯に出る「イテレーション」はトレース全体の集計値、スパンツリーの各イテレーションスパンに付く番号は個々のイテレーションの通し番号です。ツリーを絞り込んで表示行数が減っても、サマリ帯の値は変わりません。