21. ジョブの運用¶

21.3.2.1. アーカイブと削除の順序¶

ジョブ「トレース・監査ログアーカイブ」（アーカイブのジョブ）を先に実行し、その後にジョブ「トレース・監査ログ削除」（削除のジョブ）を実行してください。実行周期の決め方は「推奨の実行周期」を参照してください。削除のジョブは、削除の前に、アーカイブした件数と先頭・末尾の ID が、データベースの記録と合うかを確かめます（削除の前の照合）。削除のジョブがトレースと監査ログを削除するのは、アーカイブ済みの期間のうち、この照合が合った期間だけです。アーカイブのジョブを実行せずに削除のジョブだけを実行すると、スパン詳細だけが削除され、トレースと監査ログはデータベースに残り続けます。

図：アーカイブのジョブを実行していないとき。削除のジョブの実行で削除されるのはスパン詳細だけで、トレースと監査ログはデータベースに残る。

21.3.2.2. 期間とアーカイブのファイル¶

アーカイブのジョブは、記録を期間に分け、期間ごとにファイルへ書き出します。期間の長さは、アーカイブのジョブのpartitionGranularityで決まります。記録がどの期間に入るかは、記録の種類によって次のように決まります。

• トレース: 実行を開始した時刻ではなく、トレースを記録した時刻で期間に分かれます。トレースは実行が終わったときに記録されるため、トレース一覧の開始時刻とは別の期間に入ることがあります。
• 配下のスパン: スパンを記録した時刻にかかわらず、トレースと同じ期間に入ります。
• 監査ログ: 記録した時刻で期間に分かれます。

アーカイブのファイルは、パブリックストレージのim_copilot/archive/observability/の下のtrace（トレースと配下のスパン）とlog（監査ログ）のディレクトリに置かれます。どちらのディレクトリにも、記録を書き出したファイルと、マニフェストが並びます。

システムログのメッセージでは、期間を最初の日と最後の日（その日を含む）で表示します。たとえば、1/5 0:00 から 1/12 0:00 の前までの期間は「記録した日: 2026-01-05〜2026-01-11」と表示されます。下の図とその説明では、期間を「1/5〜1/12」のように、終わりの日（1/12）を含めない書き方で示します。

図：記録とアーカイブのファイル。期間 1/5〜1/12 の記録は、トレースとスパンがtrace、監査ログがlogのディレクトリに書き出される。ファイル名のdefaultはテナント ID。期間 1/5〜1/12 は 1/5 0:00 から 1/12 0:00 の前まで（1/12 を含まない）。

21.3.2.3. アーカイブのファイルの保管¶

製品はアーカイブのファイルを削除しません。どれだけの期間、どこに保管するかは、自社に適用される法令や社内の規程に合わせて管理者が決めます。

verifyArchiveFilesがtrue（既定）のとき、削除のジョブは、削除の前に、アーカイブのジョブが書き出したファイルとマニフェストがその場所に残っているかを確かめます。見つからない期間があると、ジョブはエラーで終わります（「失敗した期間の扱い」）。その期間とそれより後の期間のトレースと監査ログは削除しません。そのため、アーカイブのファイルを別の場所へ移すと、それらの期間のトレースと監査ログはデータベースに残ります。ファイルを移すときは、次のどちらかにしてください。

• その期間のトレースと監査ログが削除のジョブで削除されてから移してください（推奨）。削除が済んだ期間は、ファイルを移しても削除に影響しません。削除が済んだかは、テーブルimco_obs_archive_controlで、ファイル名と同じ期間の行のdelete_statusがdoneであることを確かめてください（「期間ごとの状態と件数の確かめ方」）。
• ジョブ「トレース・監査ログ削除」のverifyArchiveFilesをfalseにしてください。falseにすると、ファイルが残っているかを確かめずに削除するので、ファイルを移した後も削除が進みます。

verifyArchiveFilesをfalseにする前に、アーカイブ済みでまだ削除が済んでいない期間のアーカイブのファイルが、すべて移した先にあることを確かめてください。ファイルを失った期間があると、その期間の記録も、アーカイブのファイルが無いままデータベースから削除されます。ファイルを失って戻せない期間の対処の手順は、「メッセージコードリファレンス」のE.IWP.COPILOT.OBSERVABILITY.00517（監査ログの期間はE.IWP.COPILOT.OBSERVABILITY.00534）の対応方法を参照してください。

21.3.2.4. アーカイブされる時期¶

アーカイブのジョブは、期間が終わってから 24 時間たつまで、その期間を書き出しません。トレースの配下のスパンは、トレースと同じ期間に入ります。ただし、トレースとは別に書き込まれるので、期間が終わった直後に届くことがあります。すぐに書き出すと、後から届いたスパンがアーカイブのファイルに含まれず、削除の前の照合が合わずに削除が止まります。24 時間の猶予は、遅れて届くスパンを待ち、削除が止まる回数を減らすためのものです。

アーカイブのジョブは、実行のたびに、まだ書き出していない期間を古い順にまとめて書き出します。書き出す対象は、期間が終わった時刻（weeklyなら翌週の月曜 0:00）から 24 時間たった期間です。初めて実行したときは、最も古い記録を含む期間から順に書き出します。

図：アーカイブの実行と、書き出される期間。1/1 0:00 の実行では、期間が終わった時刻から 24 時間たっている 12/1〜12/29 の 4 つの週を書き出す。12/29〜1/5 の週は、期間が終わった時刻（1/5 0:00）から 24 時間たっていないため、2/1 0:00 の実行で書き出す。例の条件は、期間がweekly、トレースと監査ログの保持日数が 180 日、スパン詳細の保持日数が 30 日、アーカイブの実行が毎月 1 日 0:00、削除の実行が毎月 5 日と 20 日（日付は 2025 年 12 月〜2026 年 9 月）。

アーカイブ済みの期間に、アーカイブの後でスパンが書き込まれると、その期間は削除の前の照合が合いません。この期間と、同じ種類の記録のこれより後の期間は削除されず、記録はデータベースに残ります。システムログにはE.IWP.COPILOT.OBSERVABILITY.00518が出力されます。照合が合わなかった期間には、管理者の対処が必要です。対処の手順は、「メッセージコードリファレンス」のE.IWP.COPILOT.OBSERVABILITY.00518の対応方法を参照してください（「失敗した期間の扱い」）。

トレースと監査ログは、記録を書き込んだサーバの時刻で期間に入ります（配下のスパンは、トレースと同じ期間に入ります）。サーバどうしの時刻が 24 時間を超えてずれていると、アーカイブの後に書き込まれた記録が、アーカイブ済みの期間に入ることがあります。ずれの大きさと、記録が書き込まれた時期によって、次のどれかが起きます。

• その期間の照合が合わず、削除が止まります。
• 配下にスパンの無いトレースの行が、エラーにならず、削除もされずにデータベースに残ります。この行はアーカイブのファイルにも含まれません。
• 記録が、アーカイブのファイルに含まれないまま、データベースから削除されます。配下にスパンの無いトレースの行（照合で数えない）で起きます。ずれが保持日数以上のときは、照合の後に書き込まれたほかの記録でも起きます。エラーは出ません。

複数のサーバで運用する場合は、全てのサーバの時刻を合わせてください。詳しくは、リリースノートの「制限事項」を参照してください。

21.3.2.5. 削除される時期¶

削除のジョブは実行のたびに、実行の時刻から保持日数をさかのぼった時刻を境目にして、次のものをデータベースから削除します。

• トレースと監査ログ: 期間の終わりが境目以前で、アーカイブ済みの期間の記録を削除します。
• スパン詳細: 記録した時刻が境目より前のスパン詳細を削除します。

期間の初めに記録したトレースと監査ログが、データベースに最も長く残ります。残る日数は、およそ「期間の長さ ＋ 保持日数 ＋ 削除の実行の間隔」です。トレースと監査ログの保持日数がアーカイブの実行の間隔より短いと、期間がアーカイブされるまで削除されません。この場合は上の日数より長く残り、アーカイブの後の最初の削除の実行で削除されます。

図：8/5 の削除の実行で削除されるデータ。トレースと監査ログは期間の終わりが 2/6（8/5 の 180 日前）以前の期間、スパン詳細は記録した時刻が 7/6（8/5 の 30 日前）より前のものが削除の対象で、そのうち前の 7/20 の実行までに削除されていない分が、この実行で削除される。例の条件は、期間がweekly、トレースと監査ログの保持日数が 180 日、スパン詳細の保持日数が 30 日、アーカイブの実行が毎月 1 日 0:00、削除の実行が毎月 5 日と 20 日（日付は 2025 年 12 月〜2026 年 9 月）。

21.3.2.6. 推奨の実行周期¶

ジョブネットにトリガを設定するまで、スパン詳細・トレース・監査ログは削除されず、データベースに増え続けます。トリガは、次の実行周期で設定することを推奨します。トリガの設定の手順は、テナント管理者操作ガイドのジョブを設定するを参照してください。

削除のジョブは、アーカイブのジョブより多く実行してかまいません。ただし、アーカイブのジョブも削除のジョブもジョブネットを新しく作らず、製品に同梱のジョブネットで実行してください。同梱の 2 つのジョブネットは「並列実行を許可する」が無効なので、同じジョブネットの実行は重なりません。別のジョブネットでも同じジョブを実行すると、実行が重なることがあります。実行が重なると、アーカイブのジョブでは記録がデータベースからもアーカイブのファイルからも失われる場合があり、削除のジョブは正常に終了しない場合があります。削除のジョブを月に 2 回実行するときは、ジョブネット「トレース・監査ログ削除」に 2 つのトリガを設定してください。推奨の実行周期では毎月 5 日と 20 日ですが、運用に合わせて日付を変えてかまいません。1 つのジョブネットには複数のトリガを設定できます。

スパン詳細がデータベースに残る日数は、最も長くて「spanDetailRetentionDays（既定は 30 日）＋ 削除の実行の間隔」です。

partitionGranularityの値ごとの違いは次のとおりです。

残る日数の考え方は「削除される時期」を参照してください。

monthlyのとき、アーカイブのジョブが前の月の期間を書き出すのは、期間が終わった時刻（1 日 0:00）から 24 時間たった後です。アーカイブのジョブは毎月 2 日以降に実行してください。1 日に実行すると、アーカイブのジョブは前の月の期間を翌月の実行で書き出すので、その期間のアーカイブと削除が 1 か月遅れます。

21.3.2.7. 失敗した期間の扱い¶

次のどれかの期間があると、ジョブはエラーで終わります。

• 書き出しに失敗した期間
• 削除の前の照合が合わなかった期間（アーカイブのファイルが見つからない期間を含む）
• 削除の途中で止めた期間

その期間より後の期間も削除されません。止まるのは、その期間と同じ種類の記録（トレースと配下のスパン、または監査ログ）だけです（span_orphan_で始まる期間で止まった場合は、通常の期間の削除は続きます。それ以外の場合は、span_orphan_で始まる期間も、日付によらず削除されません）。もう一方の記録は、同じ実行で処理されます。ただし、データベースの障害などで処理に失敗した場合は、削除のジョブはその場で止まり、もう一方の記録を含む残りの期間は、その実行では処理されません。

ジョブがエラーで終わったことは、ジョブの実行結果（ジョブネットモニタ）で確かめられます。失敗の原因は、システムログに出力されたメッセージで確かめてください。対象は、IWP.COPILOT.OBSERVABILITYを含むコードのメッセージです。メッセージの理由の中に出るコードも含みます。

次の実行で、ジョブは失敗した期間をやり直します。書き出しに失敗した期間はもう一度アーカイブを試み、照合が合わなかった期間と削除の途中で止めた期間は照合し直します。失敗の原因を取り除けば、次の実行から処理が進みます。テーブルの値を書き換えるなどの操作は要りません。

ただし、E.IWP.COPILOT.OBSERVABILITY.00518〜00521（監査ログの期間は00535〜00538）で照合が合わなかった期間は、次の実行で照合し直しても合いません。E.IWP.COPILOT.OBSERVABILITY.00518の場合は、「メッセージコードリファレンス」の対応方法に従って、期間の状態を変えてください。アーカイブのファイルを失って戻せない期間（E.IWP.COPILOT.OBSERVABILITY.00517、監査ログの期間は00534）も、期間の状態を変えるまで削除されません。この場合も、「メッセージコードリファレンス」の対応方法に従って、期間の状態を変えてください。

図：照合が合わない期間があるとき。8/20 の実行で期間 2/2〜2/9 の照合が合わないと、その期間とそれより後の期間 2/9〜2/16 は削除されない。原因を取り除くと、9/5 の実行で照合し直して、期間 2/2〜2/9 から順に削除される。止まるのは照合が合わない期間と同じ種類の記録の期間で、もう一方の記録の期間は、照合が合えば同じ実行で削除される。例の条件は、期間がweekly、トレースと監査ログの保持日数が 180 日、スパン詳細の保持日数が 30 日、アーカイブの実行が毎月 1 日 0:00、削除の実行が毎月 5 日と 20 日（日付は 2025 年 12 月〜2026 年 9 月）。

21.3.2.8. ジョブを途中で止めたときの扱い¶

ジョブネットモニタ詳細の画面で実行中のジョブネットを強制終了すると、処理中の期間（スパン詳細は 5,000 件のまとまり）を終えてから止まり、残りの期間は次の実行で処理されます。「失敗した期間の扱い」に挙げた期間が無ければ、ジョブの結果は警告です。停止した場合は、ジョブが最後まで処理してから止まります。

21.3.2.9. ファイルの大きさの目安¶

1 つの期間のファイルの大きさ（圧縮した後の大きさ）は、次の値から見積もることができます。

• 期間内の実行の数: 運用ダッシュボードの実行回数で確かめられます（「KPI の 4 枚」）。表示する期間は、見積もる期間の長さに合わせてください。実行種別の既定は本番です。テストの実行も含めるときは、本番とテストの値を足してください。
• 期間内の監査ログの件数: 監査ログの画面のログ件数で確かめられます（「何が記録されるか」）。
• 1 回の実行あたりのスパンの数: 下の手順で書き出したファイルのマニフェストで、スパンの件数をトレースの件数で割って求めてください。
• トレース・スパン・監査ログの 1 件あたりの大きさ: どれも 100 バイト程度を目安にしてください。1 件あたりの大きさは記録の中身によって変わるため、目安は多めの値にしてあります。

これらの値を使った見積もりの式は、次のとおりです。

• トレース（traceのディレクトリ）：期間内の実行の数 ×（トレースの 1 件あたりの大きさ ＋ 1 回の実行あたりのスパンの数 × スパンの 1 件あたりの大きさ）
• 監査ログ（logのディレクトリ）：期間内の監査ログの件数 × 監査ログの 1 件あたりの大きさ

例えば、1 週間に 1 万回の実行があり、1 回の実行あたりのスパンが 4 個なら、トレースの 1 週間分のファイルは、およそ 1 万 ×（100 ＋ 4 × 100）バイト＝約 5 MB です。

実際の環境の記録から 1 件あたりの大きさを求めると、より実態に近い見積もりができます。

1. 期間が終わってから 24 時間たった記録のある環境（検証環境など）で、ジョブネット「トレース・監査ログアーカイブ」を 1 回実行します（「アーカイブされる時期」）。
2. 書き出されたファイル（パブリックストレージのim_copilot/archive/observability/の下）から、件数の多い期間のファイルを選びます。件数の少ないファイルは圧縮率が低く、1 件あたりの大きさが大きく出るためです。ファイル名のテナント ID の後には、トレースはtrace、スパンはspan、監査ログはlogが入ります。
3. 選んだファイルの大きさを、拡張子を除いて同じ名前のマニフェストのrecord_count（そのファイルに書き出した件数）で割ります。
4. 求めた 1 件あたりの大きさを、見積もりの式の「トレースの 1 件あたりの大きさ」「スパンの 1 件あたりの大きさ」「監査ログの 1 件あたりの大きさ」に当てはめます。

21.3.2.10. 期間ごとの状態と件数の確かめ方¶

各ジョブが処理した件数は、ジョブの実行結果（ジョブネットモニタ）と、同じ内容のシステムログのメッセージで確かめられます。

期間ごとの状態と件数は、テーブルimco_obs_archive_controlで確かめられます。次の SELECT 文は、PostgreSQL・Oracle・SQL Server のどれでもそのまま実行できます。SELECT 文は、テナント管理者の「データベース操作」の画面で実行できます（「データベース操作を使用する」）。

SELECT source_type, partition_id, window_from, window_to, archive_status, record_count, delete_status, delete_at, deleted_record_count
  FROM imco_obs_archive_control
 ORDER BY source_type, window_from;

このテーブルの件数は、ジョブの実行結果の件数と数え方が異なります。トレースの期間（source_typeがspan）のrecord_countとdeleted_record_countはスパンの件数で、トレースの件数は入りません。トレースの件数は、システムログのI.IWP.COPILOT.OBSERVABILITY.00503（アーカイブ）・I.IWP.COPILOT.OBSERVABILITY.00504（削除。その実行で削除した分）か、ファイル名にtraceが入るファイルのマニフェストのrecord_countで確かめてください。

スパン詳細の削除は、このテーブルには記録されないため、件数はジョブの実行結果で確かめてください。