Day 108 — SHAP値の解釈 — グローバル/ローカル解釈・Kaggleでの活用

📚 背景知識（読んでから問題へ）

🧩 ローカル解釈を支える3つの視点

🎯 問題

顧客の解約（チャーン）予測を模した合成データ。6個の特徴量のうち3つは正当な信号、2つは無関係なノイズ、1つ（days_since_last_login）は「解約が確定した後にしか値が動かない情報が誤って混入したリーク特徴量」という設定。

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

RANDOM_STATE = 42
rng = np.random.RandomState(RANDOM_STATE)

n = 2000
credit_score = rng.normal(650, 80, n)
tenure_months = rng.exponential(24, n).clip(0, 120)
num_late_payments = rng.poisson(1.5, n)

logit = (
    -0.015 * (credit_score - 650)
    - 0.03 * tenure_months
    + 0.6 * num_late_payments
    + rng.normal(0, 1.0, n)
)
p_true = 1 / (1 + np.exp(-logit))
y = (rng.uniform(size=n) < p_true).astype(int)

noise1 = rng.normal(0, 1, n)
noise2 = rng.normal(0, 1, n)

# リーク特徴量: 解約が確定した後にしか値が動かない情報を模擬
days_since_last_login = np.where(
    y == 1,
    rng.normal(5, 1, n),
    rng.normal(60, 10, n),
)

df = pd.DataFrame({
    "credit_score": credit_score,
    "tenure_months": tenure_months,
    "num_late_payments": num_late_payments.astype(float),
    "noise1": noise1,
    "noise2": noise2,
    "days_since_last_login": days_since_last_login,
})
FEATURES = list(df.columns)
X = df[FEATURES].values
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=RANDOM_STATE
)

タスク

📐 グローバル重要度（mean(|SHAP値|)、リーク列を含む状態）

実際に計算した値をもとに作図（最大値=100%として正規化）。days_since_last_loginが2位の10倍以上という異様な支配を見せている。

🪜 ローカル解釈: 2件のサンプル分解（base_value → 予測値）

base_value=0.5276（≒学習データの平均解約率）から出発し、各特徴量のSHAP値を足し引きして最終的な予測確率にたどり着く様子。棒は中心から左（マイナス寄与・赤）または右（プラス寄与・緑）に伸びる。

① 自信を持って正解した予測（idx=137, 実際のy=0, 予測確率=0.0038）

② 最も迷った予測（idx=234, 実際のy=0, 予測確率=0.1077）

🔎 リーク検出とその後の是正

SHAP占有率（全600件のtestサンプル）

Test AUC: リーク列の有無で比較

是正後のグローバル重要度 mean(|SHAP値|)

除外後の重要度ランキングは、データ生成時に意図した3つの正当な信号（credit_score・num_late_payments・tenure_months）にきれいに一致する。これが「本来のモデルの実力」。

💡 ヒント

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score
import shap

# 1. ベースライン
rf = RandomForestClassifier(n_estimators=300, max_depth=6, random_state=42, n_jobs=-1)
rf.fit(X_train, y_train)
proba_test = rf.predict_proba(X_test)[:, 1]

# 2. SHAP計算（バージョン差異に対応）
explainer = shap.TreeExplainer(rf)
shap_values = explainer.shap_values(X_test)
if isinstance(shap_values, list):
    sv = shap_values[1]
    base_value = explainer.expected_value[1]
else:
    sv = shap_values[:, :, 1] if shap_values.ndim == 3 else shap_values
    ev = explainer.expected_value
    base_value = ev[1] if np.ndim(ev) > 0 else ev

# 4. ローカル（2件）
correct_mask = (rf.predict(X_test) == y_test)
conf_correct_idx = np.argmax(np.where(correct_mask, np.abs(proba_test - 0.5), -1))
uncertain_idx = np.argmin(np.abs(proba_test - 0.5))

# 5. リーク検出
abs_sv = np.abs(sv)
total_abs = abs_sv.sum(axis=1)
leak_idx = FEATURES.index("days_since_last_login")
leak_ratio = abs_sv[:, leak_idx] / total_abs

✅ 模範解答

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score
import shap

RANDOM_STATE = 42
rng = np.random.RandomState(RANDOM_STATE)

# ====== データ準備 ======
n = 2000
credit_score = rng.normal(650, 80, n)
tenure_months = rng.exponential(24, n).clip(0, 120)
num_late_payments = rng.poisson(1.5, n)
logit = (
    -0.015 * (credit_score - 650) - 0.03 * tenure_months
    + 0.6 * num_late_payments + rng.normal(0, 1.0, n)
)
p_true = 1 / (1 + np.exp(-logit))
y = (rng.uniform(size=n) < p_true).astype(int)
noise1 = rng.normal(0, 1, n)
noise2 = rng.normal(0, 1, n)
days_since_last_login = np.where(y == 1, rng.normal(5, 1, n), rng.normal(60, 10, n))

df = pd.DataFrame({
    "credit_score": credit_score, "tenure_months": tenure_months,
    "num_late_payments": num_late_payments.astype(float),
    "noise1": noise1, "noise2": noise2,
    "days_since_last_login": days_since_last_login,
})
FEATURES = list(df.columns)
X = df[FEATURES].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=RANDOM_STATE)

# ====== 1. ベースラインモデル ======
rf = RandomForestClassifier(n_estimators=300, max_depth=6, random_state=RANDOM_STATE, n_jobs=-1)
rf.fit(X_train, y_train)
proba_test = rf.predict_proba(X_test)[:, 1]
auc = roc_auc_score(y_test, proba_test)
print(f"Test AUC: {auc:.4f}")

# ====== 2. SHAP計算 ======
explainer = shap.TreeExplainer(rf)
shap_values = explainer.shap_values(X_test)
if isinstance(shap_values, list):
    sv = shap_values[1]; base_value = explainer.expected_value[1]
else:
    sv = shap_values[:, :, 1] if shap_values.ndim == 3 else shap_values
    ev = explainer.expected_value
    base_value = ev[1] if np.ndim(ev) > 0 else ev

# ====== 3. グローバル解釈 ======
mean_abs_shap = pd.Series(np.abs(sv).mean(axis=0), index=FEATURES).sort_values(ascending=False)

# ====== 4. ローカル解釈（2件） ======
correct_mask = (rf.predict(X_test) == y_test)
conf_correct_idx = np.argmax(np.where(correct_mask, np.abs(proba_test - 0.5), -1))
uncertain_idx = np.argmin(np.abs(proba_test - 0.5))
for label, idx in [("自信を持って正解", conf_correct_idx), ("最も迷った予測", uncertain_idx)]:
    contrib = pd.Series(sv[idx], index=FEATURES).sort_values(key=np.abs, ascending=False)
    print(f"base_value {base_value:.4f} + sum(SHAP) = {base_value + contrib.sum():.4f}")

# ====== 5. リーク検出 ======
abs_sv = np.abs(sv)
total_abs = abs_sv.sum(axis=1)
leak_idx = FEATURES.index("days_since_last_login")
leak_ratio = abs_sv[:, leak_idx] / total_abs
credit_ratio = abs_sv[:, FEATURES.index("credit_score")] / total_abs

# ====== 6. 是正 ======
FEATURES_NO_LEAK = [f for f in FEATURES if f != "days_since_last_login"]
X_no_leak = df[FEATURES_NO_LEAK].values
Xtr2, Xte2, ytr2, yte2 = train_test_split(X_no_leak, y, test_size=0.3, stratify=y, random_state=RANDOM_STATE)
rf2 = RandomForestClassifier(n_estimators=300, max_depth=6, random_state=RANDOM_STATE, n_jobs=-1)
rf2.fit(Xtr2, ytr2)
auc2 = roc_auc_score(yte2, rf2.predict_proba(Xte2)[:, 1])
print(f"リーク除外後のTest AUC: {auc2:.4f}  (除外前: {auc:.4f})")

実際に実行して得た出力（RANDOM_STATE=42固定・環境により多少前後する）:

Test AUC: 1.0000

=== グローバル: mean(|SHAP値|) ===
days_since_last_login    0.4294
credit_score              0.0374
tenure_months             0.0190
num_late_payments         0.0188
noise1                    0.0035
noise2                    0.0015

=== ローカル: 自信を持って正解 (idx=137, proba=0.0038) ===
base_value 0.5276 + sum(SHAP) = 0.0038  (predict_proba=0.0038)

=== ローカル: 最も迷った予測 (idx=234, proba=0.1077) ===
base_value 0.5276 + sum(SHAP) = 0.1077  (predict_proba=0.1077)

=== SHAP占有率の比較 ===
days_since_last_login: 平均=0.8439 最小=0.7299 占有率>0.5の割合=1.0000
credit_score:          平均=0.0722 占有率>0.5の割合=0.0000

リーク除外後のTest AUC: 0.8167  (除外前: 1.0000)

=== リーク除外後の mean(|SHAP値|) ===
credit_score          0.1409
num_late_payments     0.0805
tenure_months         0.0704
noise1                0.0161
noise2                0.0090

🪜 Step-by-Step 解説

1ベースラインモデルを学習し、AUCの異常な高さに気づく

rf.fit(X_train, y_train)
# Test AUC: 1.0000

2グローバル解釈で怪しい特徴量に当たりをつける

days_since_last_login    0.4294   ← 2位の10倍以上
credit_score              0.0374

3ローカル解釈で「一貫性」を確認する

自信を持って正解 (idx=137): days_since_last_login -0.3898（全SHAPの中で圧倒的に最大）
最も迷った予測   (idx=234): days_since_last_login -0.4920（同様に圧倒的に最大）

4占有率を全サンプルで定量化する

days_since_last_login: 平均占有率=0.8439, 最小=0.7299, 占有率>0.5の割合=100%
credit_score:          平均占有率=0.0722, 占有率>0.5の割合=0%

5特徴量を除外して「本来のモデル」を確認する

リーク除外後のTest AUC: 0.8167（除外前: 1.0000）
credit_score 0.1409, num_late_payments 0.0805, tenure_months 0.0704 が主要因に

6Kaggleコンペでの対応を戦略的に考える

🧮 数学・統計の補足（文系向け）

数式を見たら

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 画像認識（CV） / ☑ 時系列（Time Series）

• リーク検出の一次スクリーニング: 新しい特徴量を追加した直後にCVスコアが不自然に跳ね上がったら、SHAPのグローバル重要度でその特徴量が突出していないかをまず確認する。「ほぼ全サンプルで占有率50%超」なら要注意
• 誤分類サンプルのローカル解釈: モデルが外した予測（False Positive/Negative）を数件選び、SHAP waterfallで「なぜそう予測したか」を確認する。上位解法は「モデルが苦手なサブグループ」をこの方法で特定し、専用の特徴量や後処理を追加している
• Solution Write-upでの説明: コンペ終了後のDiscussion投稿では、SHAP summary plot（グローバル、ビースウォーム図）とForce Plot（ローカル、代表サンプル数件）を並べて「モデルが何を学習したか」を説明するのが定番の構成
• Dependence Plotで交互作用を見る: 1つの特徴量のSHAP値を横軸=特徴量の値、縦軸=SHAP値でプロットし、色を別の特徴量で塗ると、2つの特徴量の交互作用が可視化される。GBDTが暗黙に学習した非線形な関係を発見する手段として上位陣がよく使う

⚠️ よくある誤解・ミス

🔗 関連する重要な概念

• feature_importances_ / Permutation Importance / Boruta（Day 107）: 今日のグローバル解釈（mean(|SHAP値|)）はこれらと並ぶ「特徴量選択」の視点。今日はそこにローカル解釈という新しい軸を加えた
• データリークとは何か（Phase 3, Day 077）: リークの種類・防ぎ方の理論を扱った回。今日はSHAPという具体的な検出ツールでそれを実践した
• ROC曲線とAUC（Phase 2, Day 055）: 「AUC=1.0000は疑うべき」という今日の判断は、AUCの意味（ランダムな正例・負例のペアを正しく順序付けできる確率）を理解していないと下せない

🚀 次のステップ

• 発展: days_since_last_loginのSHAP Dependence Plot（横軸=特徴量の値、縦軸=SHAP値）を作図し、値がある閾値（約30日あたり）を境に寄与がほぼ二値的に切り替わる「不自然に鋭い境界」があることを確認してみる。本物の連続的なシグナルなら、通常はもっとなだらかな関係になる
• 次回予告: Day 109「Phase 4 総復習」 — XGBoost/LightGBM/CatBoost・Optuna・アンサンブル・特徴量選択・SHAPまで、Phase 4で学んだ手法を1つのTabularコンペ相当のパイプラインに統合し、上位10%（Silverメダル圏内）を目指す総合演習に取り組む

📝 自己評価（解いた後に記入）