01_基礎

セクション6 基礎 — AI ソリューションのモニタリング

📘 対象：新人エンジニア。4種類のドリフト、Model Monitoring、Explainable AI の入門。

1. なぜ ML はモニタリングが必須か

訓練時に高精度だったモデルも、本番環境では時間とともに性能が劣化する。原因は：

→ 継続的に観測しないと、知らないうちに損失を生む

2. ドリフトの4種類（試験頻出）

2.1 Training-Serving Skew（訓練・サービングずれ）

2.2 Data Drift（データドリフト）

2.3 Concept Drift（コンセプトドリフト）

2.4 🆕 Feature Attribution Drift

2.5 4種類の比較表

Training-Serving Skew Data Drift Concept Drift Feature Attribution Drift
変化する対象 前処理コード 入力 X の分布 P(Y|X) の関係 特徴量寄与度
ラベル必要？ × × ○ ×
検知タイミング 即時 継続 ラベル取得時 継続
対策 TFT/Feature Store 再訓練 再訓練+特徴量見直し 再訓練+特徴量見直し

3. Agent Platform Model Monitoring

3.1 何ができるか

3.2 監視対象メトリクス

3.3 設定の基本

from google.cloud import aiplatform

monitor = aiplatform.ModelDeploymentMonitoringJob.create(
    display_name="churn-monitor",
    endpoint=endpoint,
    objective_configs=[
        aiplatform.model_monitoring.ObjectiveConfig(
            training_dataset=training_dataset,
            skew_detection_config=skew_config,
            drift_detection_config=drift_config,
            explanation_config=explanation_config,
        ),
    ],
    sample_rate=0.5,  # 50% サンプリング
    monitor_interval=3600,  # 1時間ごと
)

3.4 アラート設計

4. Explainable AI

4.1 何のためにあるか

4.2 主な3手法

手法 仕組み 強み 弱み
Sampled Shapley ランダムサンプリングで Shapley 値近似 表形式データに強い 計算量大
Integrated Gradients 入力空間の勾配積分 DNN / 画像に強い DNN 限定
XRAI 画像のリージョン重要度 画像分類 画像限定

4.3 適用パターン

4.4 設定例

explanation_metadata = aiplatform.explain.ExplanationMetadata(
    inputs={
        "features": aiplatform.explain.ExplanationMetadata.InputMetadata(input_tensor_name="input_1"),
    },
    outputs={
        "score": aiplatform.explain.ExplanationMetadata.OutputMetadata(output_tensor_name="output_1"),
    },
)
explanation_params = aiplatform.explain.ExplanationParameters(
    sampled_shapley_attribution={"path_count": 25}
)

model = aiplatform.Model.upload(
    ...,
    explanation_metadata=explanation_metadata,
    explanation_parameters=explanation_params,
)

5. 責任ある AI（Responsible AI）の基礎

5.1 公平性（Fairness）

5.2 プライバシー

5.3 説明責任 (Accountability)

5.4 透明性 (Transparency)

6. 🆕 Model Armor（LLM セキュリティ）

6.1 何をするか

LLM 特有のセキュリティリスクを WAF のように防御：

6.2 構成

[User Request]
    ↓
[Model Armor: 入力チェック]
    ├─ プロンプトインジェクション
    ├─ PII 含む
    ├─ 有害指示
    └─ ジェイルブレイク
    ↓ (合格)
[LLM (Gemini など)]
    ↓
[Model Armor: 出力チェック]
    ├─ PII 含まれていないか
    ├─ 有害コンテンツ
    └─ 機密情報の漏洩
    ↓ (合格)
[Response to User]

6.3 既存ツールとの組合せ

7. 生成 AI のモニタリングと評価

7.1 自動評価メトリクス

7.2 🆕 LLM-as-a-judge

7.3 Gen AI Evaluation Service

7.4 継続評価のセット

8. 観測の3層

[Infrastructure 層]    Cloud Monitoring (CPU/メモリ/レイテンシ/QPS)
[Application 層]       Cloud Logging (リクエスト/レスポンスログ)
[ML 層]               Agent Platform Model Monitoring (ドリフト/精度)

すべて Cloud Operations Suite に統合。アラートポリシーで Slack/PagerDuty 連携。

9. このセクションで覚えるキーワード

次は 02_応用.md で Model Armor 設定、Gen AI 評価の実装、責任ある AI の運用を扱います。