Day 084 — Playground Series 活用法 — 月次コンペでBronzeメダルを取る戦略

📚 背景知識（読んでから問題へ）

Playground Series とは？

Kaggle が毎月開催する「練習用コンペ」です。実際の業務データではなく、合成データ（Synthetic Data）を使用するため、初心者でもメダルを狙いやすい特徴があります。

Bronze メダルを取る3ステップ戦略

🗂️ データスキーマ — Bank Customer Churn

今月のPlayground Series: 顧客離脱予測（評価指標: ROC AUC）

🎯 問題

要件

📊 AUCスコア目標（Bank Churn PS 参考値）

参考: Playground Series のChurn系コンペでの典型的なスコア分布

💡 ヒント

import lightgbm as lgb
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import roc_auc_score

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof_preds  = np.zeros(len(X))
test_preds = np.zeros(len(X_test))

for fold, (tr_idx, val_idx) in enumerate(cv.split(X, y)):
    X_tr, X_val = X.iloc[tr_idx], X.iloc[val_idx]
    y_tr, y_val = y.iloc[tr_idx], y.iloc[val_idx]

    model = lgb.LGBMClassifier(n_estimators=1000, learning_rate=0.05)
    model.fit(X_tr, y_tr,
              eval_set=[(X_val, y_val)],
              callbacks=[lgb.early_stopping(50, verbose=False)])

    oof_preds[val_idx] = model.predict_proba(X_val)[:, 1]
    test_preds += model.predict_proba(X_test)[:, 1] / 5

print(f"CV AUC: {roc_auc_score(y, oof_preds):.5f}")

✅ 模範解答

import pandas as pd
import numpy as np
import lightgbm as lgb
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelEncoder

# ── 1. データ読み込み ──────────────────────────────────────
train = pd.read_csv('train.csv')
test  = pd.read_csv('test.csv')

# ── 2. 特徴量エンジニアリング ─────────────────────────────
def engineer_features(df):
    df = df.copy()

    # 残高比率: 財務状況の相対的な評価
    df['BalanceSalaryRatio'] = df['Balance'] / (df['EstimatedSalary'] + 1)

    # 残高ゼロフラグ（0残高は解約の前兆かもしれない）
    df['ZeroBalance'] = (df['Balance'] == 0).astype(int)

    # 年齢 × アクティブ度（高年齢かつ非アクティブが離脱しやすい）
    df['AgeActivity'] = df['Age'] * df['IsActiveMember']

    # 信用スコアのバケット化（低/中/高/優）
    df['CreditBucket'] = pd.cut(df['CreditScore'],
                                bins=[0, 450, 600, 750, 1000],
                                labels=[0, 1, 2, 3]).astype(int)

    # 商品数 × アクティブ度
    df['ProductActivity'] = df['NumOfProducts'] * df['IsActiveMember']

    return df

train = engineer_features(train)
test  = engineer_features(test)

# ── 3. カテゴリ変数エンコーディング ──────────────────────
cat_cols = ['Geography', 'Gender']
for col in cat_cols:
    le = LabelEncoder()
    train[col] = le.fit_transform(train[col])
    test[col]  = le.transform(test[col])

# ── 4. 特徴量選択 ─────────────────────────────────────────
drop_cols = ['id', 'CustomerId', 'Surname', 'Exited']
feature_cols = [c for c in train.columns if c not in drop_cols]

X      = train[feature_cols]
y      = train['Exited']
X_test = test[feature_cols]

# ── 5. LightGBM + Stratified K-Fold CV ──────────────────
cv          = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof_preds   = np.zeros(len(X))
test_preds  = np.zeros(len(X_test))

lgb_params = {
    'n_estimators':       1000,
    'learning_rate':      0.05,
    'num_leaves':         31,
    'max_depth':          -1,
    'min_child_samples':  20,
    'subsample':          0.8,
    'colsample_bytree':   0.8,
    'reg_alpha':          0.1,
    'reg_lambda':         1.0,
    'random_state':       42,
    'n_jobs':             -1,
    'verbose':            -1,
}

for fold, (tr_idx, val_idx) in enumerate(cv.split(X, y)):
    X_tr, X_val = X.iloc[tr_idx], X.iloc[val_idx]
    y_tr, y_val = y.iloc[tr_idx], y.iloc[val_idx]

    model = lgb.LGBMClassifier(**lgb_params)
    model.fit(
        X_tr, y_tr,
        eval_set=[(X_val, y_val)],
        callbacks=[lgb.early_stopping(50, verbose=False),
                   lgb.log_evaluation(-1)],
    )

    oof_preds[val_idx] = model.predict_proba(X_val)[:, 1]
    test_preds += model.predict_proba(X_test)[:, 1] / 5

    fold_auc = roc_auc_score(y_val, oof_preds[val_idx])
    print(f"  Fold {fold+1}: AUC = {fold_auc:.5f}  (best iter: {model.best_iteration_})")

cv_auc = roc_auc_score(y, oof_preds)
print(f"\nCV AUC: {cv_auc:.5f}")
print(f"Bronze 目標: AUC ≈ 0.875 (上位40%)")
print(f"Silver 目標: AUC ≈ 0.890 (上位20%)")

# ── 6. 提出ファイル生成 ───────────────────────────────────
submission = pd.DataFrame({
    'id':     test['id'],
    'Exited': test_preds,  # 確率を提出（クラスではない！）
})
submission.to_csv('submission.csv', index=False)
print("\nsubmission.csv を生成しました！")

🪜 Step-by-Step 解説

1 特徴量エンジニアリング：比率と交互作用

# 残高比率: 財務状況の相対的な評価
df['BalanceSalaryRatio'] = df['Balance'] / (df['EstimatedSalary'] + 1)
# 年齢 × アクティブ度（高年齢かつ非アクティブが離脱しやすい）
df['AgeActivity'] = df['Age'] * df['IsActiveMember']

「残高÷給与」という比率は、残高そのものより顧客の財務状況を表します。絶対値より比率・割合が特徴量として強いのはKaggleの鉄則です。

2 LightGBM を選ぶ理由

3 OOF（Out-of-Fold）予測の仕組み

oof_preds[val_idx] = model.predict_proba(X_val)[:, 1]

OOFとは「その折で検証に使ったデータへの予測をつなぎ合わせたもの」です。全データについて「学習に使っていないときの予測」を集めるため、情報リークのない正確なCV評価ができます。

4 テスト予測を5つのモデルで平均

test_preds += model.predict_proba(X_test)[:, 1] / 5

各Foldで学習した5つのモデルの予測を平均（アンサンブル）することで、単一モデルより安定した予測ができます。これをOOF + テスト平均と呼びます。

5 CV と LB の乖離を防ぐ3つの手法

📅 Playground Series 参戦タイムライン（1ヶ月間）

📐 数学・統計の補足（文系向け）— ROC AUC とは何か？

AUC（Area Under the Curve）は「ランダムな正例と負例を比べたとき、正例の方が高いスコアになる確率」です。

🏆 Kaggleでの実践的な使い方

⚠️ よくある誤解・ミス

🚀 次のステップ

📝 自己評価（解いた後に記入）