Deep Dive: 運用・保守 / SRE — Observability と FinOps

本番 ML システムの SRE 観点を、Cloud Monitoring の aiplatform.googleapis.com 全メトリクス・ Google SRE Workbook の SLI/SLO フレームワーク・FinOps の実践 で深掘り。

📌 なぜ ML 運用は通常システムより難しいか

📡 オブザーバビリティの 4 シグナル + ML 拡張

SRE の伝統的「Four Golden Signals」に、ML 特有の指標を加える。

📊 Cloud Monitoring メトリクス全集（aiplatform.googleapis.com）

以下は本番監視で使う 130+ メトリクスの中から、PMLE 運用で必須のもの を抜粋・整理。すべて aiplatform.googleapis.com/ プレフィックス。

🚦 Endpoint / DeployedModel メトリクス

必須アラート（Endpoint）

# 例：error_rate > 1% (5 分間) で warn
fetch aiplatform.googleapis.com/Endpoint
| metric 'aiplatform.googleapis.com/prediction/online/error_count'
| align rate(5m)
| every 1m
| group_by [resource.endpoint_id], sum(value)
| join (
    fetch aiplatform.googleapis.com/Endpoint
    | metric 'aiplatform.googleapis.com/prediction/online/prediction_count'
    | align rate(5m)
    | every 1m
    | group_by [resource.endpoint_id], sum(value)
)
| value [val(0) / val(1) * 100]
| condition val() > 1.0

🌟 Publisher（Gemini / 生成 AI）メトリクス

生成 AI 専用メトリクス群。トークン課金体系の可視化に必須。

🗂 Featurestore（旧版）メトリクス

レガシー Feature Store 用。新規プロジェクトは Feature Online Store を使うが、既存資産の監視は引き続き重要。

🟦 Feature Online Store（新版・Bigtable）メトリクス

⛓ Pipelines メトリクス

📡 Model Monitoring メトリクス

🔍 Vector Search (Matching Engine) メトリクス

⚠️ Quota メトリクス

各種 quota の /usage, /limit, /exceeded を監視。「上限の 80% で warn、95% で critical」が定石。

• quota/online_prediction_input_tokens_per_minute_per_base_model/usage
• quota/online_prediction_input_tokens_per_minute_per_base_model/limit
• quota/online_prediction_input_tokens_per_minute_per_base_model/exceeded

🎯 SLI / SLO / Error Budget — ML 向け実践

Google SRE Workbook より：「An SLI is the ratio of two numbers: the number of good events divided by the total number of events.」シンプルな ratio で表現するのが最強。

📐 ML 向け SLI の型

SRE Workbook の 3 分類 + ML 拡張：

具体的な ML SLO 設計例

# 例：商品レコメンデーション API の SLO 文書
SLO Title: Recommendation API Reliability
Approved by: Eng Lead, PM, SRE
Review cadence: 四半期

SLI 1: Availability
  - Formula: count(response_code in [200, 304]) / count(all responses)
  - Source: aiplatform.googleapis.com/prediction/online/response_count
  - Window: rolling 28 days
  - Target: ≥ 99.9% (error budget = 0.1% ≈ 2,419 errors per 3M requests)

SLI 2: Latency
  - Formula: count(latency < 100ms) / count(all responses)
  - Source: aiplatform.googleapis.com/prediction/online/prediction_latencies
  - Window: rolling 28 days
  - Target: ≥ 95%

SLI 3: Feature Freshness
  - Formula: count(serving_data_ages < 3600s) / count(all requests)
  - Source: aiplatform.googleapis.com/featureonlinestore/serving_data_ages
  - Window: rolling 28 days
  - Target: ≥ 99%

Error Budget Policy:
  - 25% 消費: PM/Eng/SRE に通知
  - 50% 消費: 全 feature work 一時停止、信頼性 backlog 優先
  - 75% 消費: 全変更 freeze、必須 fix のみ
  - 100% 消費: 経営層エスカレーション、リスク再評価

🔥 バーンレート アラート（Multi-burn-rate, Multi-window）

従来の「閾値割れで即 page」だと false positive 多発 + 検知遅延。SRE Workbook 推奨は multi-burn-rate。

バーンレートの基本

• バーンレート 1：通常の消費速度。28 日で予算をちょうど使い切る
• バーンレート 10：通常の 10 倍速。2.8 日で予算枯渇
• バーンレート 36：1 時間で 5% 消費。即座に重大事象

推奨 2-window / 2-burn-rate 構成

2 window 必須の理由：短い window の急変だけで page すると瞬間的スパイクで誤発火、長い window だけでは検知遅延。両方が条件を満たした時のみ page。

📋 エラーバジェット・ポリシー

SRE Workbook：「Establishing an SLO creates measurement; an error budget policy creates accountability.」SLO を作っても、ポリシーがなければ "ただのダッシュボード"。

典型的なポリシー条項

1. 予算 50% 消費：dev チームは信頼性バグを feature より優先
2. 予算 100% 消費：feature freeze、信頼性復旧まで release 禁止
3. 予算枯渇でも例外的に変更が必要：senior leadership 承認 + 文書化
4. 四半期に 1 回 review：SLO が緩すぎないか、厳しすぎないか

📜 ログとトレース

推奨ログ設計

# 構造化ログを stdout に出す（Cloud Logging が自動取り込み）
import json, sys, time

def log(severity, message, **fields):
    entry = {
        "severity": severity,
        "message": message,
        "timestamp": time.time(),
        **fields,
    }
    print(json.dumps(entry), file=sys.stdout, flush=True)

log("INFO", "prediction_completed",
    model_version="v3.2",
    latency_ms=87,
    feature_age_seconds=420,
    request_id=request_id,
    user_segment="premium")

💰 コスト管理 (FinOps) — 本番運用の最大課題

4 つの防衛ライン

1. Quota の活用（最強の予防策）

• 事前に絞る：開発プロジェクトの GPU quota を「A100 ≤ 2 台」に制限
• サービス別に管理：Vertex AI / BQ / Gemini それぞれに quota
• quota メトリクスで監視：80% で warn、95% で critical
• quota 引き上げ申請にもポリシー：申請理由 + 期限 + 引き下げ計画

2. Budget Alerts

# 例：月次 budget $10,000 で 50/90/100% アラート
gcloud billing budgets create \
  --billing-account=BILLING_ACCOUNT_ID \
  --display-name="ML Production Monthly" \
  --budget-amount=10000USD \
  --threshold-rule=percent=0.5 \
  --threshold-rule=percent=0.9 \
  --threshold-rule=percent=1.0,basis=current-spend \
  --notifications-rule-pubsub-topic=projects/PROJECT/topics/budget-alerts \
  --notifications-rule-monitoring-notification-channels=...

3. Resource Labels によるコスト分解

• 全リソースに team, env, model, cost-center ラベル
• BQ Billing Export でラベルベース集計
• Looker / Data Studio で team / model 別ダッシュボード

4. サービス別コスト最適化レシピ

📈 キャパシティ計画

本番 ML のキャパシティ計画は通常 Web より 遥かに難しい：

• GPU/TPU は予約しないと取れない：オンデマンドで A100 100 台は突然取れない
• quota は申請から数日：直前申請では間に合わない
• モデルサイズ変更が CPU/メモリ要件を変える：軽い更新でも要件が激変することがある

計画プロセス

1. 需要予測：traffic の季節性・キャンペーン・新機能 launch を反映
2. per-replica capacity：負荷試験で「1 replica = X QPS @ p95 100ms」を実測
3. 必要 replica 数の計算：peak QPS / per-replica capacity × 安全係数 1.5
4. Quota & Reservation 確保：3 ヶ月先まで Committed Use Discount で押さえる
5. Spot Pool 併用：ベース負荷をオンデマンドで、スパイクを Spot で

🚨 インシデント対応プレイブック

共通の対応フロー

ML 特有の典型シナリオ別プレイブック

🛡 セキュリティ運用

🔁 Toil（繰り返し作業）削減

SRE Workbook：「If high toil accompanies SLO misses, reduce toil through automation or loosen objectives—but never accept both simultaneously.」

ML 運用の典型的 Toil と自動化

📊 推奨ダッシュボード構成（4 階層）

Layer 1: Executive（経営層・週次レビュー）

• 全プロジェクト合計コスト推移（前月比）
• 主要 SLO 達成率（緑/黄/赤）
• 本番モデル数、月次 prediction 数

Layer 2: Service Owner（モデルオーナー・日次）

• 該当モデルの SLI ダッシュボード（availability, latency, freshness）
• Error budget 残量と burn rate
• 本月コスト + 内訳（compute / storage / prediction tokens）
• Drift 監視サマリー

Layer 3: On-call（オンコール対応・リアルタイム）

• p50/p95/p99 latency time series
• error_count / replica_count / accelerator_duty_cycle
• 最近の deploy ログ（traffic_split 変更）
• active incidents

Layer 4: ML Engineer（モデル開発・週次）

• Pipelines 成功率、duration 推移
• Drift メトリクスの詳細（feature 別）
• continuous evaluation スコア
• Experiments 比較

📚 参考リンク（一次情報）

• Cloud Monitoring metrics (aiplatform.googleapis.com)
• Google SRE Workbook — Implementing SLOs
• Google SRE Workbook — Alerting on SLOs (multi-burn-rate)
• MLOps: CI/CD/CT (white paper)
• Cloud Billing — Budgets and alerts
• BigQuery Billing Export
• Log-based metrics
• IAM Recommender
• Vertex AI access control