Deep Dive: MLOps Pipelines & Monitoring

§5+§6 を、Google Cloud の公式ドキュメントの文面に沿って深掘りします。 Vertex AI Pipelines (KFP v2)・Model Monitoring v2・Model Armor・Explainable AI の本番運用と落とし穴に焦点。

⛓ Vertex AI Pipelines

「An ML pipeline is a directed acyclic graph (DAG) of containerized pipeline tasks that are interconnected using input-output dependencies.」サーバーレスで KFP / TFX を実行できるオーケストレータ。

🏗 KFP v2 アーキテクチャ

3 つのコア抽象

Component の書き方 2 通り

公式は「You can author tasks either in Python or as a prebuilt container images.」と明記。

from kfp import dsl, compiler
from kfp.dsl import Output, Model, Dataset, Metrics

@dsl.component(
    base_image="python:3.11",
    packages_to_install=["scikit-learn==1.4", "pandas==2.2"],
)
def train(
    data_path: str,
    learning_rate: float,
    model_out: Output[Model],
    metrics_out: Output[Metrics],
):
    import joblib, pandas as pd
    from sklearn.linear_model import LogisticRegression
    df = pd.read_csv(data_path)
    clf = LogisticRegression(C=learning_rate)
    clf.fit(df.drop("y", axis=1), df["y"])
    joblib.dump(clf, model_out.path)
    metrics_out.log_metric("train_score", clf.score(df.drop("y", axis=1), df["y"]))

from kfp import dsl

@dsl.container_component
def custom_train(
    data_path: str,
    model: dsl.Output[dsl.Model],
):
    return dsl.ContainerSpec(
        image="us-central1-docker.pkg.dev/my-project/repo/trainer:v3",
        command=["python", "/app/train.py"],
        args=["--data", data_path, "--model-out", model.path],
    )

コンパイル → 実行のフロー

📊 ML Metadata と Lineage

「When you run a pipeline using Vertex AI Pipelines, all parameters and artifact metadata consumed and generated by the pipeline are stored in Vertex ML Metadata.」

自動収集されるもの

• 各 task の入力パラメータ・出力アーティファクト
• アーティファクト間の lineage graph（input → materialized → output）
• Pipeline run ID と各 task の実行履歴
• カスタムメタデータスキーマ（任意で追加可能）

Knowledge Catalog 連携

「search for a pipeline artifact and view its lineage graph」 in Knowledge Catalog。fully qualified names を使うので、複数プロジェクト・複数 Pipeline のアーティファクトが衝突しない設計。

⏰ トリガーと CI/CD/CT

失敗時の戦略

• Failure Policy：失敗時に fail-fast（即停止）or fail-slow（依存性のないタスクは続行）を選べる
• Retry Policy：task ごとに最大回数 + バックオフ
• Execution Caching：入力ハッシュベース。本番では明示的に無効化することも考慮（最新データを使うため）

監視・通知

• Email notifications：pipeline 失敗時の自動メール
• Cloud Logging：log entries で監視イベント作成
• Pipeline run 比較ビュー：複数 run のメトリクスを並べて比較
• Cloud Billing export to BigQuery：run ごとのコスト分析

📡 Model Monitoring v2 — モデル単位の監視へ

「Vertex AI Model Monitoring v2 ... associates all monitoring tasks with a model version」。v1 は Endpoint 単位だったが、v2 は Model Version 単位 に進化（重要なアーキテクチャ転換）。

📊 統計指標と検知対象

監視対象 3 つ（tabular モデル向け）

統計手法（型別）

Feature Attribution Drift と Explainable AI の統合

v2 は SHAP 値を使用：「typically signed, indicating whether a feature helps push the inference up or down」。 属性スコアの分布変化を継続監視 →「a change in a key feature's attribution score often signals that the feature has changed in a way that can impact the accuracy」。 従来の Data Drift では検知できない 「特徴量の重要度が静かに入れ替わる」 変化を捉えられる。

🔀 v1 vs v2 の選び方

設定の流れ（v2）

1. Model Registry にモデルを登録
2. Model Monitor リソースを 特定の model version に関連付け 作成
3. モデルスキーマ定義（AutoML は自動検出）
4. デフォルトの monitoring config（objectives / training dataset / output location / notifications）
5. on-demand 実行 or scheduled で継続監視

🛡 Model Armor — LLM 向け WAF

「proactively screening LLM prompts and responses, protecting against various risks and ensuring responsible AI practices」。プロンプト・応答の双方を ステートレスで in-memory 処理 し、分析後は即座に破棄。

⚠️ 脅威カテゴリと閾値

検知対象

信頼度 (Confidence Threshold)

🚥 Inspect vs Block の 2 段階運用

サポート対象とリミット

🔍 Vertex Explainable AI

⚠️ 重要：Deprecation 通知

📐 3 手法の使い分け

主要パラメータ

Local vs Global Explanation

• Local：個別予測の説明（「この患者が陽性予測された理由はこの 3 特徴量」）。online/batch prediction と同時に返る
• Global：AutoML の場合自動で「model feature importance」を提供。Custom モデルは「データセット全体・サブセット上で attribution を集約」して取得

Example-Based Explanation（補助手法）

• 近傍検索：訓練データから「最も似た例」を返す
• 用途：訓練データの gap 発見・新規データ解釈・異常検知・active learning
• 制限：「Tree-based models, such as decision trees, are not supported. Models from other frameworks, such as PyTorch or XGBoost, are not supported yet.」TF + embedding 提供モデルのみ

⚠️ リスクと注意点

📚 参考リンク（一次情報）

• Vertex AI Pipelines introduction
• Build a pipeline (KFP v2)
• Configure execution caching
• Model Monitoring overview
• Model Monitoring v2 overview
• Model Armor overview
• Model Armor key concepts
• Vertex Explainable AI overview
• Configuring feature-based explanations
• MLOps: CI/CD/CT white paper