Observability・AI-SRE・インシデント
25語
AIシステムの稼働状況を把握し、障害に備えるための可観測性・SRE・インシデント対応の用語です。分散トレーシングやOpenTelemetry、SLIとSLO、応答時間のパーセンタイル、キルスイッチ、フォールバック、ポストモーテムなどを扱います。
この分野を読むポイント
AIの不具合は、どのプロンプト・モデル・ツール呼び出しで起きたかを後から追えなければ直せません。版の記録、緊急停止の手段、対応手順書を事前に用意しておくことが、AIを運用するうえでの出発点です。
この分野に関連する記事
用語一覧
- Observability
- ログ・メトリクス・トレース等から、AIシステム内部で何が起きているかを把握・分析できる性質と運用。
- Distributed Tracing
- 複数サービス、検索、Agent、Tool等をまたぐ1回の処理を共通ID等で追跡する仕組み。
- Prompt Version
- 利用したプロンプトの版を識別する情報。出力差分や障害原因の追跡に使う。
- Model Version
- 利用したモデルの世代・版・識別子。再現性や変更影響の追跡に使う。
- Tool Call
- AgentやLLMが外部ツール・関数・APIを呼び出した1回の実行単位。
- Kill Switch
- 異常なAgent実行や高コスト処理などを緊急停止するための強制停止機構。
- p50
- 観測値の50パーセンタイル。レイテンシ等の中央値として典型的な応答時間を見る指標。
- p95
- 観測値の95パーセンタイル。遅い上位5%を除いた利用体験の境界を見る指標。
- p99
- 観測値の99パーセンタイル。極端に遅い処理やテールレイテンシを把握する指標。
- SLI
- Service Level Indicatorの略。可用性、成功率、レイテンシ等、サービス品質を測る実測指標。
- SLO
- Service Level Objectiveの略。SLIに対して目標とするサービス品質水準。
- Circuit Breaker
- 外部サービスの障害時に連続呼び出しを一時停止し、障害の拡大を防ぐ仕組み。
- Fallback Model
- 主モデルが利用できない・条件を満たさない場合に切り替えて使う代替モデル。
- Replay
- 記録した入力や実行情報を使い、過去の処理を再現して障害分析・検証すること。
- Severity Level
- インシデントの影響度・緊急度を段階分類したレベル。対応優先順位や報告経路に使う。
- Runbook
- 障害・運用イベント時に実施する確認、停止、復旧、連絡等の手順をまとめた運用手順書。
- Postmortem
- 障害後に事実経過、原因、影響、対応、再発防止を整理する振り返り記録。個人の責任追及ではなく仕組みの改善を目的とし、AIの誤出力事例も対象に含める。
- Incident Response
- インシデントの検知、封じ込め、原因分析、復旧、報告、再発防止までを行う対応プロセス。
- OpenTelemetry（OTel）
- Trace、Metric、Log等のTelemetryデータをベンダー中立に収集・転送するためのオープンなObservability標準・エコシステム。
- OpenTelemetry GenAI Semantic Conventions
- LLM、Agent、Tool等の実行をOpenTelemetry上で共通形式に記録するための属性名・Event・Span等のSemantic Convention。
OpenTelemetry GenAI Semantic Conventionsの定義を見る · Observability・AI-SRE・インシデントの全体像
- Span
- 分散トレース内の一つの処理区間を表す単位。開始・終了時刻、属性、親子関係等を持ち、ModelやTool Callの追跡に使われる。
- Trace Context
- 複数サービス・処理間でTrace ID等の追跡情報を受け渡し、一連のリクエストを関連付けるためのコンテキスト。
- Langfuse
- LLM・Agent Application向けのOpen-source Observability / Evaluation Platform。Trace、Prompt、Dataset、Experiment、Evaluation、Cost・Latency監視等を扱う。
- LangSmith
- LangChainが提供するAgent・LLM Application向けObservability、Tracing、Evaluation、Dataset、Monitoring等のPlatform。
- MLflow
- Machine LearningからLLM・AgentまでExperiment Tracking、Model/Prompt管理、Tracing、Evaluation、Monitoring等を扱うOpen-source AI Engineering Platform。