Day 106 — 不均衡データ対策 — SMOTE・class_weight・閾値調整

📚 背景知識（読んでから問題へ）

🧩 不均衡データ対策の3つのアプローチ

🎯 問題

不正検知を模した合成データ（陽性クラス＝約3.6%）に対し、4つのアプローチ（何もしない／class_weight／SMOTE／閾値調整）を実装し、性能を比較する。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

RANDOM_STATE = 42

X, y = make_classification(
    n_samples=5000,
    n_features=10,
    n_informative=5,
    n_redundant=2,
    n_clusters_per_class=1,
    weights=[0.97, 0.03],   # 陽性クラスを約3%に設定
    flip_y=0.01,
    random_state=RANDOM_STATE,
)

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=RANDOM_STATE
)

実行結果: 陽性クラス割合0.0362（181/5000件）、train陽性127件・test陽性54件

タスク

📐 閾値を動かすとPrecision/Recall/F1はどう変わるか

実際にベースラインモデルの予測確率で計算した値（0.00〜0.95、0.05刻み）。横軸は閾値、縦軸は各指標の値。緑の点線が最適閾値（F1最大）。

📊 実行結果の比較

実際にコードを実行して得た値（乱数シード固定・環境により多少前後する）。

Accuracyのパラドックス

Accuracyの差はわずか2.2ポイントしかないが、実際にはbaselineは54件中34件の不正を検出できている（後述の混同行列参照）。Accuracyだけでは、この「意味のある差」がほとんど見えない。

4アプローチのF1スコア比較

Precision / Recall の内訳

混同行列（test 1,500件・陽性54件）

class_weightとSMOTEは見逃し（左下）を減らせたが、誤報（右上）が大きく増えた。閾値調整は誤報を7件に抑えつつ見逃しも12件まで減らし、最もバランスが良い結果になった。

💡 ヒント

from sklearn.linear_model import LogisticRegression
from sklearn.metrics import (
    accuracy_score, precision_score, recall_score, f1_score,
    average_precision_score, precision_recall_curve
)
from imblearn.over_sampling import SMOTE

def evaluate(model, X_te, y_te, threshold=0.5):
    proba = model.predict_proba(X_te)[:, 1]
    pred = (proba >= threshold).astype(int)
    return {
        "accuracy": accuracy_score(y_te, pred),
        "precision": precision_score(y_te, pred, zero_division=0),
        "recall": recall_score(y_te, pred, zero_division=0),
        "f1": f1_score(y_te, pred, zero_division=0),
        "pr_auc": average_precision_score(y_te, proba),
    }

# 1. ベースライン
base_model = LogisticRegression(max_iter=1000, random_state=RANDOM_STATE)
base_model.fit(X_train, y_train)
# ここで evaluate() を呼ぶ

# 2. class_weight
cw_model = LogisticRegression(max_iter=1000, class_weight="balanced", random_state=RANDOM_STATE)
# ...fit → evaluate

# 3. SMOTE（訓練データのみ！）
smote = SMOTE(random_state=RANDOM_STATE)
X_train_sm, y_train_sm = smote.fit_resample(X_train, y_train)
sm_model = LogisticRegression(max_iter=1000, random_state=RANDOM_STATE)
# ...fit(X_train_sm, y_train_sm) → evaluate（Xはテストのまま）

# 4. 閾値調整（ベースラインモデルの確率を使う）
proba_test = base_model.predict_proba(X_test)[:, 1]
precisions, recalls, thresholds = precision_recall_curve(y_test, proba_test)
f1s = 2 * precisions * recalls / (precisions + recalls + 1e-12)
best_idx = np.argmax(f1s[:-1])  # 最後の要素はthresholdに対応しないため除外
best_threshold = thresholds[best_idx]
# evaluate(base_model, X_test, y_test, threshold=best_threshold)

✅ 模範解答

import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import (
    accuracy_score, precision_score, recall_score, f1_score,
    average_precision_score, precision_recall_curve, confusion_matrix
)
from imblearn.over_sampling import SMOTE

RANDOM_STATE = 42

# ====== 1. 不均衡データ生成（陽性クラス約3.6%） ======
X, y = make_classification(
    n_samples=5000, n_features=10, n_informative=5, n_redundant=2,
    n_clusters_per_class=1, weights=[0.97, 0.03], flip_y=0.01,
    random_state=RANDOM_STATE,
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, stratify=y, random_state=RANDOM_STATE
)

def evaluate(name, model, X_te, y_te, threshold=0.5):
    proba = model.predict_proba(X_te)[:, 1]
    pred = (proba >= threshold).astype(int)
    return dict(
        name=name, threshold=threshold,
        accuracy=accuracy_score(y_te, pred),
        precision=precision_score(y_te, pred, zero_division=0),
        recall=recall_score(y_te, pred, zero_division=0),
        f1=f1_score(y_te, pred, zero_division=0),
        pr_auc=average_precision_score(y_te, proba),
    )

results = []

# ====== 2. ベースライン ======
base_model = LogisticRegression(max_iter=1000, random_state=RANDOM_STATE)
base_model.fit(X_train, y_train)
results.append(evaluate("baseline", base_model, X_test, y_test))

# ====== 3. class_weight='balanced' ======
cw_model = LogisticRegression(max_iter=1000, class_weight="balanced", random_state=RANDOM_STATE)
cw_model.fit(X_train, y_train)
results.append(evaluate("class_weight=balanced", cw_model, X_test, y_test))

# ====== 4. SMOTE（訓練データのみ） ======
smote = SMOTE(random_state=RANDOM_STATE)
X_train_sm, y_train_sm = smote.fit_resample(X_train, y_train)
sm_model = LogisticRegression(max_iter=1000, random_state=RANDOM_STATE)
sm_model.fit(X_train_sm, y_train_sm)
results.append(evaluate("SMOTE", sm_model, X_test, y_test))

# ====== 5. 閾値調整（ベースラインモデルの確率をそのまま使う） ======
proba_test = base_model.predict_proba(X_test)[:, 1]
precisions, recalls, thresholds = precision_recall_curve(y_test, proba_test)
f1s = 2 * precisions * recalls / (precisions + recalls + 1e-12)
best_idx = np.argmax(f1s[:-1])
best_threshold = thresholds[best_idx]
results.append(evaluate("baseline+threshold_tuning", base_model, X_test, y_test, threshold=best_threshold))

print(pd.DataFrame(results).to_string(index=False))

出力（実際に実行して確認した値。乱数・環境により多少前後する）:

陽性クラス割合: 0.0362 件数: 181 / 5000
train陽性件数: 127 test陽性件数: 54

                     name  threshold  accuracy  precision   recall       f1   pr_auc
                 baseline   0.500000  0.986000   0.971429 0.629630 0.764045 0.798352
    class_weight=balanced   0.500000  0.940667   0.360000 0.833333 0.502793 0.797590
                    SMOTE   0.500000  0.948667   0.394495 0.796296 0.527607 0.791305
baseline+threshold_tuning   0.202182  0.987333   0.857143 0.777778 0.815534 0.798352

🪜 Step-by-Step 解説

1不均衡データを作り、まず「何もしないダミー」と比較する

dummy_acc = 1 - y_test.mean()
print(f"全部「陰性」と予測するダミーのAccuracy: {dummy_acc:.4f}")
# → 0.9640

2ベースラインモデルを評価する

[baseline] threshold=0.5
  Accuracy=0.9860 Precision=0.9714 Recall=0.6296 F1=0.7640 PR-AUC=0.7984
  Confusion Matrix:
  [[1445    1]
   [  20   34]]

3class_weight='balanced' を試す

[class_weight=balanced] threshold=0.5
  Accuracy=0.9407 Precision=0.3600 Recall=0.8333 F1=0.5028 PR-AUC=0.7976

4SMOTEでオーバーサンプリングする

SMOTE後のtrain件数: 6746 陽性割合: 0.5
[SMOTE] threshold=0.5
  Accuracy=0.9487 Precision=0.3945 Recall=0.7963 F1=0.5276 PR-AUC=0.7913

5閾値だけを調整する

閾値0.5でのF1: 0.7640
最適閾値: 0.2022 (この時のF1=0.8155)
[baseline+threshold_tuning] threshold=0.2022
  Accuracy=0.9873 Precision=0.8571 Recall=0.7778 F1=0.8155 PR-AUC=0.7984

🧮 数学・統計の補足（文系向け）

数式を見たら

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 画像認識（CV） / ☐ 時系列（Time Series）

• IEEE-CIS Fraud Detection（Kaggle過去コンペ）: 陽性率約3.5%の不正検知コンペ。評価指標はROC-AUCだったが、不均衡データの評価にはPR-AUCも合わせて見るのが定石
• scale_pos_weight（XGBoost）・is_unbalance（LightGBM）: GBDT系モデルに内蔵された、class_weightと同じ発想の不均衡対策パラメータ。SMOTEより先に、まずこれらの内蔵オプションを試す方がコストが低く効果的なことが多い
• SMOTEを使うときの鉄則: CVの各foldの中で、訓練foldにのみ適用する。全体に先に適用してからCVを回すと、テスト（検証）foldに漏れた合成データがスコアを過大評価させる
• コンペの評価指標に合わせた閾値最適化: F1やビジネスコストなど閾値依存の指標がコンペの評価基準になっている場合、最後の一手として今日学んだ閾値調整が効く

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今回のロジスティック回帰をLightGBMに置き換え、is_unbalance=Trueまたはscale_pos_weight（陰性件数/陽性件数の比）を設定して、今日のclass_weight/SMOTE/閾値調整と同じ比較を行ってみる。木構造モデルでも同じ傾向（閾値調整が効きやすい）になるか確認する
• 次回予告: Day 107「特徴量選択の高度手法（SHAP・Boruta・PermutationImportance）」 — モデルがどの特徴量を重視しているかを解釈する手法へ進む

📝 自己評価（解いた後に記入）