02_応用

セクション6 応用 — AI ソリューションのモニタリング

🔧 対象：中堅エンジニア。Model Armor、Gen AI Evaluation、責任ある AI、アラート設計の実務観点を押さえる。

1. Model Monitoring の応用設計

1.1 Skew / Drift の閾値

1.2 サンプリング戦略

1.3 アラート設計

警報レベル 対応
Warning（軽微なドリフト） Slack 通知のみ、調査
Critical（閾値超え） PagerDuty + 自動再訓練パイプライン起動
Emergency（精度劣化が SLO 割れ） カナリアロールバック + 全アラート

1.4 ラベル取得が遅延する場合

2. Explainable AI の応用

2.1 適切な手法の選択

入力タイプは？
├─ 表形式（テーブル）
│   └─ Sampled Shapley（精度・解釈性バランス）
├─ 画像
│   ├─ クラス全体の重要領域 → XRAI
│   └─ ピクセル単位の重要度 → Integrated Gradients
├─ テキスト
│   └─ Integrated Gradients
└─ 系列データ（時系列）
    └─ Integrated Gradients

2.2 グローバル説明 vs ローカル説明

2.3 Feature Attribution Drift 検知への活用

3. Model Armor の応用

3.1 主要な脅威カテゴリ

脅威 例 Model Armor の対応
プロンプトインジェクション 「これまでの指示を無視して...」 パターン検知 + LLM 分析
ジェイルブレイク DAN プロンプト等 LLM 判定
PII 漏洩（入力） クレカ番号を含む DLP + Model Armor
PII 漏洩（出力） LLM が学習データの PII を吐く 出力スキャン
有害コンテンツ 暴力・差別・自殺示唆 Safety Filters + Model Armor
データ漏洩 システムプロンプトの暴露 出力パターン検知
URL 注入 悪意あるリンク URL リスト判定

3.2 デプロイパターン

3.3 既存スタックとの統合

[App] → [API Gateway] → [Model Armor (入力)] → [Gemini] → [Model Armor (出力)] → [App]
                                ↑
                          [Sensitive Data Protection]
                                ↑
                          [Safety Filters (Gemini 標準)]

3.4 失敗時のフォールバック

4. Gen AI 評価の応用

4.1 評価データセットの設計

4.2 LLM-as-a-judge の実装パターン

4.3 評価メトリクスの組合せ

[出力サンプル]
   ├─ 自動メトリクス (BLEU/ROUGE/Perplexity) → 即時
   ├─ LLM-as-a-judge (品質/有害性/指示遵守) → 数秒
   └─ 人手評価 (重要意思決定) → 日次サンプリング

4.4 継続評価の運用

5. 責任ある AI の運用

5.1 公平性監視の実装

5.2 バイアス源

5.3 緩和策

5.4 Model Cards / Data Cards

6. プライバシー保護の応用

6.1 差分プライバシー (DP)

6.2 連合学習 (Federated Learning)

6.3 機密計算 (Confidential Computing)

7. オブザーバビリティの統合

7.1 メトリクス・ログ・トレース

7.2 アラートと SLO

7.3 ML 特有の可観測性指標

8. 試験での頻出ひっかけ

シナリオ 不正解になりがち 正解の方向
「入力分布が変わって精度低下」 Concept Drift Data Drift
「入力と出力の関係が変化」 Data Drift Concept Drift
「訓練と推論の前処理ズレ」 Drift Training-Serving Skew
「特徴量の重要度が変化」 Data Drift Feature Attribution Drift 🆕
「LLM が PII を吐く」 DLP のみ Model Armor + DLP + Safety Filters
「LLM プロンプトインジェクション対策」 プロンプト工夫 Model Armor
「生成 AI の品質を継続評価」 全件人手 Gen AI Evaluation Service + LLM-as-a-judge
「テーブルモデルの予測理由を説明」 Feature importance を手計算 Sampled Shapley (Explainable AI)
「画像分類の判断根拠を可視化」 Saliency map 自作 Integrated Gradients / XRAI
「属性別の精度差をチェック」 全体精度のみ TFMA / Model Evaluation のスライス評価
「ドリフト検知で自動再訓練」 スケジュールのみ Model Monitoring → Pub/Sub → Pipelines
「サンプリングは 100% 必須」 そのまま 高 QPS なら 5〜10% で十分
「Concept Drift をラベルなしで検知」 簡単 真値が必要、プロキシメトリクスで近似
「公平性は全体精度を見れば OK」 そのまま スライス別 / Equalized Odds で属性差を確認

9. 設計パターン例

9.1 LLM アプリの監視スタック

[Application Logs] → Cloud Logging
[Latency / Errors] → Cloud Monitoring (SLO ダッシュボード)
[Prompt/Response sample] → BigQuery (5% サンプリング)
   ↓ 日次バッチ
[Gen AI Evaluation Service] (LLM-as-a-judge)
   ↓ 品質スコア
[Cloud Monitoring custom metric]
   ↓ 閾値割れ
[Alert → Slack + 再評価パイプライン]

9.2 表形式モデルの監視スタック

[Endpoint requests] → Model Monitoring (5% sampling)
   ├─ Skew check (vs training data) → Slack alert
   ├─ Drift check (vs baseline window) → Pub/Sub → CT pipeline
   ├─ Feature Attribution Drift → Explainable AI → Slack alert
   └─ Latency / Error rate → Cloud Monitoring → PagerDuty

9.3 セキュア LLM パイプライン

[User] → [API Gateway (IAM)] → [Model Armor 入力] → [Gemini]
                                       ↓
                              [Safety Filters]
                                       ↓
                              [Model Armor 出力]
                                       ↓
                              [DLP 最終スキャン]
                                       ↓
                              [User]
                              [Audit log → Cloud Logging]

次は 03_要点と暗記.md で意思決定ツリー・対比表・暗記カードを集めます。