Day 055 — ROC曲線と AUC

📚 背景知識（読んでから問題へ）

2つの指標：感度（TPR）と 1-特異度（FPR）

AUC の品質目安

📈 ROC 曲線のイメージ

📊 AUC 品質ゲージ

🗂️ データスキーマ（make_classification）

📝 問題

📋 コピーimport numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import (
    roc_curve, roc_auc_score,
    confusion_matrix, classification_report
)

問1 — ROC 曲線の概念理解（空欄を埋めよ）

1. ROC 曲線の横軸は ___（FPR = 1 - 特異度）である
2. ROC 曲線の縦軸は ___（TPR = 感度 = Recall）である
3. AUC が ___ のとき、モデルの性能はランダム予測と同じである
4. AUC が高いほど、モデルは不均衡データに対して ___（強い/弱い）
5. 閾値を下げると TPR は ___（上がる/下がる）

問2 — データ生成とモデル学習

📋 コピーX, y = make_classification(
    n_samples=1000,
    n_features=20,
    n_informative=10,
    n_redundant=5,
    weights=[0.8, 0.2],  # 不均衡データ
    random_state=42
)

1. train_test_split（80:20, stratify=y, random_state=42）で分割せよ
2. StandardScaler + LogisticRegression(random_state=42) の Pipeline を作成・学習せよ
3. y_pred と y_prob（陽性クラスの確率: predict_proba の第2列）を取得せよ

問3 — ROC 曲線と AUC の計算

1. roc_curve(y_test, y_prob) で fpr, tpr, thresholds を取得せよ
2. roc_auc_score(y_test, y_prob) で AUC を計算せよ
3. AUC が何を意味するかを自分の言葉で説明せよ

問4 — 最適閾値の探索

ROC 曲線上で「左上隅に最も近い点」が最適閾値の候補です。

1. 各閾値での距離 distance = sqrt(fpr² + (1-tpr)²) を計算せよ
2. 距離が最小の閾値（optimal_threshold）を見つけよ
3. その閾値での TPR と FPR を確認せよ

問5 — デフォルト閾値 vs 最適閾値の比較

1. デフォルト閾値 0.5 での Precision・Recall・F1（macro）を計算せよ
2. 最適閾値での Precision・Recall・F1（macro）を計算せよ
3. 不均衡データに対してどちらが優れているか？理由も述べよ

🔍 ヒント（段階的開示）

📋 コピー# ROC曲線の取得
fpr, tpr, thresholds = roc_curve(y_test, y_prob)
auc = roc_auc_score(y_test, y_prob)

# AUCの意味: ランダムに陽性1件・陰性1件を選んだとき、
# 陽性のスコアが高い確率

# 最適閾値の探索
distances = np.sqrt(fpr**2 + (1 - tpr)**2)
opt_idx = np.argmin(distances)
optimal_threshold = thresholds[opt_idx]

📋 コピー# 最適閾値でのラベル生成
y_pred_opt = (y_prob >= optimal_threshold).astype(int)

# 比較
from sklearn.metrics import precision_score, recall_score, f1_score

for name, y_p in [("閾値0.5", y_pred), ("最適閾値", y_pred_opt)]:
    print(f"\n--- {name} ---")
    print(f"Precision (macro): {precision_score(y_test, y_p, average='macro', zero_division=0):.4f}")
    print(f"Recall    (macro): {recall_score(y_test, y_p, average='macro', zero_division=0):.4f}")
    print(f"F1        (macro): {f1_score(y_test, y_p, average='macro', zero_division=0):.4f}")

✅ 模範解答

📋 コピーimport numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import (
    roc_curve, roc_auc_score,
    precision_score, recall_score, f1_score,
    confusion_matrix, classification_report
)

# ── 問1: 概念理解 ──
print("=== 問1 ===")
print("1. 横軸: FPR（False Positive Rate = 1 - 特異度）")
print("2. 縦軸: TPR（True Positive Rate = 感度 = Recall）")
print("3. AUC = 0.5 のとき、ランダム予測と同じ")
print("4. AUC が高いほど不均衡データに強い")
print("5. 閾値を下げると TPR は上がる（見逃しが減る）")

# ── 問2: データ生成とモデル学習 ──
X, y = make_classification(
    n_samples=1000, n_features=20,
    n_informative=10, n_redundant=5,
    weights=[0.8, 0.2], random_state=42
)

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(random_state=42, max_iter=1000))
])
pipeline.fit(X_train, y_train)

y_pred = pipeline.predict(X_test)
y_prob = pipeline.predict_proba(X_test)[:, 1]

print(f"\n[問2] クラス分布: y=0: {(y_test==0).sum()}件, y=1: {(y_test==1).sum()}件")

# ── 問3: ROC曲線とAUC ──
fpr, tpr, thresholds = roc_curve(y_test, y_prob)
auc = roc_auc_score(y_test, y_prob)

print(f"\n[問3] AUC = {auc:.4f}")
print("AUCの意味: ランダムに陽性サンプルと陰性サンプルを1つずつ選んだとき、")
print("          陽性サンプルのスコアが高い確率。")

# ── 問4: 最適閾値の探索 ──
distances = np.sqrt(fpr**2 + (1 - tpr)**2)
opt_idx = np.argmin(distances)
optimal_threshold = thresholds[opt_idx]
opt_tpr = tpr[opt_idx]
opt_fpr = fpr[opt_idx]

print(f"\n[問4] 最適閾値: {optimal_threshold:.4f}")
print(f"  TPR（感度）     = {opt_tpr:.4f}")
print(f"  FPR（1-特異度） = {opt_fpr:.4f}")

# ── 問5: 閾値比較 ──
y_pred_opt = (y_prob >= optimal_threshold).astype(int)

print("\n[問5] 閾値比較:")
for name, y_p in [("閾値0.5（デフォルト）", y_pred), ("最適閾値", y_pred_opt)]:
    p = precision_score(y_test, y_p, average="macro", zero_division=0)
    r = recall_score(y_test, y_p, average="macro", zero_division=0)
    f = f1_score(y_test, y_p, average="macro", zero_division=0)
    print(f"\n--- {name} ---")
    print(f"  Precision (macro): {p:.4f}")
    print(f"  Recall    (macro): {r:.4f}")
    print(f"  F1        (macro): {f:.4f}")

# 結論: 最適閾値は少数クラス(陽性)の Recall を改善し、
# 不均衡データでは Macro F1 が向上する。
# AUC を評価指標とするコンペでは閾値は不要（確率を直接評価）。

⚖️ 閾値と TPR・FPR のトレードオフ

🪜 Step-by-Step 解説

1 predict_proba で確率を取得する

📋 コピー# predict_proba は2列の行列を返す
# 列0: クラス0（陰性）の確率
# 列1: クラス1（陽性）の確率

y_prob_matrix = pipeline.predict_proba(X_test)
print(y_prob_matrix.shape)      # (200, 2)
print(y_prob_matrix[:3])
# 例: [[0.92, 0.08], [0.15, 0.85], ...]

y_prob = y_prob_matrix[:, 1]   # 陽性の確率だけ取り出す

2 roc_curve の戻り値を理解する

📋 コピーfpr, tpr, thresholds = roc_curve(y_test, y_prob)

# fpr:        各閾値での FPR（False Positive Rate）の配列
# tpr:        各閾値での TPR（True Positive Rate）の配列
# thresholds: 閾値の配列（降順）

print(f"点の数: {len(fpr)}")   # 閾値の数 + 1
print(f"閾値の範囲: {thresholds.max():.3f} 〜 {thresholds.min():.3f}")

3 AUC の計算方法（2種類）

📋 コピーfrom sklearn.metrics import roc_auc_score, auc

# 方法1: roc_auc_score（推奨・シンプル）
auc1 = roc_auc_score(y_test, y_prob)

# 方法2: roc_curve + auc（同じ結果）
fpr, tpr, _ = roc_curve(y_test, y_prob)
auc2 = auc(fpr, tpr)

print(f"AUC (方法1): {auc1:.4f}")
print(f"AUC (方法2): {auc2:.4f}")  # 同じ値

4 最適閾値の探索（Youden's Index との比較）

📋 コピー# 方法1: 左上隅からのユークリッド距離を最小化
distances = np.sqrt(fpr**2 + (1 - tpr)**2)
opt_idx_eu = np.argmin(distances)

# 方法2: Youden's Index を最大化（TPR - FPR）
youden_idx = tpr - fpr
opt_idx_yj = np.argmax(youden_idx)

print(f"最適閾値（距離法）:   {thresholds[opt_idx_eu]:.4f}")
print(f"最適閾値（Youden）:   {thresholds[opt_idx_yj]:.4f}")
# → どちらも似た結果になることが多い

5 CV で AUC を最大化する

📋 コピーfrom sklearn.model_selection import cross_val_score, StratifiedKFold

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
auc_scores = cross_val_score(
    pipeline, X, y,
    cv=cv,
    scoring="roc_auc"   # ← AUC で評価
)
print(f"CV AUC: {auc_scores.mean():.4f} ± {auc_scores.std():.4f}")

🔢 数学・統計の補足（文系向け）

TPR と FPR はなぜトレードオフになるのか？

ROC vs Accuracy の違い

🏆 Kaggleでの実践的な使い方

📋 コピー# Kaggle提出の典型パターン

# パターン1: AUCが評価指標 → 確率をそのまま提出
submission = pd.DataFrame({
    "id": test_ids,
    "target": y_prob  # 確率（0〜1）をそのまま
})

# パターン2: Macro F1 が評価指標 → CV で最適閾値を探索
from sklearn.metrics import f1_score

thrs = np.arange(0.1, 0.9, 0.01)
best_thr = max(thrs, key=lambda t: f1_score(
    y_val, (y_prob_val >= t).astype(int),
    average="macro", zero_division=0
))
print(f"最適閾値 (CV): {best_thr:.2f}")

# パターン3: class_weight="balanced" で不均衡対応
from sklearn.linear_model import LogisticRegression
model = LogisticRegression(class_weight="balanced", max_iter=1000)

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: PR 曲線（Precision-Recall Curve）と AP スコア — 極端な不均衡データでの評価
• 次回予告 (Day 056): Confusion Matrix の可視化と詳細分析（heatmap・FP/FNのビジネス解釈）

📋 自己評価（解いた後に記入）