Day 089 — Phase 3 総復習 — Kaggleコンペで Bronze 圏内を目指す

📚 背景知識（読んでから問題へ）

これは料理でいう「練習した包丁さばき・下ごしらえ・火加減を1皿のフルコースにまとめる」段階。個々の技術を知っていることと、締切までに動くパイプラインを組んで提出できることは別のスキルです。

🧭 Bronze を取る「型」（9ステップ）

上位陣も初心者も、最初のサブミッションは同じ型から始まる。

🗄️ データ仕様（架空の二値分類コンペ）

🎯 問題

タスク1: EDA チェックリストの実行（分析）

タスク2: 一気通貫パイプラインの実装（コーディング）

タスク3: CV と LB の乖離診断（戦略）

📊 評価指標 ROC-AUC を可視化で理解する

AUC =「ランダムに選んだ陽性1件と陰性1件で、陽性のほうに高いスコアを付けられる確率」。

💡 ヒント

import numpy as np, pandas as pd
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import roc_auc_score
import lightgbm as lgb

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof = np.zeros(len(train))
test_pred = np.zeros(len(test))

for tr_idx, va_idx in skf.split(X, y):
    X_tr, X_va = X.iloc[tr_idx].copy(), X.iloc[va_idx].copy()
    y_tr, y_va = y.iloc[tr_idx], y.iloc[va_idx]
    # ★ここで TargetEncoding を X_tr から fit → X_va, test に transform
    model = lgb.LGBMClassifier(...)
    model.fit(X_tr, y_tr)
    oof[va_idx] = model.predict_proba(X_va)[:, 1]
    test_pred += model.predict_proba(test_X)[:, 1] / skf.n_splits

print("OOF AUC:", roc_auc_score(y, oof))

✅ 模範解答

タスク1: 最初の30分でやる EDA チェックリスト（7項目）

タスク2: 一気通貫パイプライン

import numpy as np
import pandas as pd
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import roc_auc_score
import lightgbm as lgb

# 0. データ読み込み
train = pd.read_csv('train.csv')
test  = pd.read_csv('test.csv')
target_col, id_col = 'target', 'id'
y = train[target_col]
train_X = train.drop(columns=[target_col, id_col])
test_X  = test.drop(columns=[id_col])

num_cols  = train_X.select_dtypes(include='number').columns.tolist()
cat_cols  = train_X.select_dtypes(exclude='number').columns.tolist()
high_card = [c for c in cat_cols if train_X[c].nunique() > 20]
low_card  = [c for c in cat_cols if c not in high_card]

# 1. 欠損値処理（単純代入はリーク影響が小さいので全体でOK）
for c in num_cols:
    med = train_X[c].median()
    train_X[c] = train_X[c].fillna(med)
    test_X[c]  = test_X[c].fillna(med)
for c in cat_cols:
    train_X[c] = train_X[c].fillna('__MISSING__').astype(str)
    test_X[c]  = test_X[c].fillna('__MISSING__').astype(str)
for c in low_card:
    train_X[c] = train_X[c].astype('category')
    test_X[c]  = test_X[c].astype('category')

# 2. fold 内 TargetEncoding（Smoothing 付き・リーク防止）
def target_encode(tr, va, te, col, y_tr, m=10):
    prior = y_tr.mean()
    stats = y_tr.groupby(tr[col]).agg(['mean', 'count'])
    smooth = (stats['mean']*stats['count'] + prior*m) / (stats['count'] + m)
    return (tr[col].map(smooth).fillna(prior),
            va[col].map(smooth).fillna(prior),
            te[col].map(smooth).fillna(prior))

# 3-5. Stratified K-Fold で OOF + test 予測
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof       = np.zeros(len(train_X))
test_pred = np.zeros(len(test_X))
params = dict(n_estimators=1000, learning_rate=0.03, num_leaves=31,
              subsample=0.8, colsample_bytree=0.8, random_state=42, n_jobs=-1)

for fold, (tr_idx, va_idx) in enumerate(skf.split(train_X, y)):
    X_tr, X_va, X_te = train_X.iloc[tr_idx].copy(), train_X.iloc[va_idx].copy(), test_X.copy()
    y_tr, y_va = y.iloc[tr_idx], y.iloc[va_idx]
    # ★ TargetEncoding は fold 内 train でのみ fit
    for c in high_card:
        e_tr, e_va, e_te = target_encode(X_tr, X_va, X_te, c, y_tr)
        X_tr[c+'_te'], X_va[c+'_te'], X_te[c+'_te'] = e_tr, e_va, e_te
    X_tr, X_va, X_te = (d.drop(columns=high_card) for d in (X_tr, X_va, X_te))

    model = lgb.LGBMClassifier(**params)
    model.fit(X_tr, y_tr, eval_set=[(X_va, y_va)], eval_metric='auc',
              callbacks=[lgb.early_stopping(50), lgb.log_evaluation(0)])
    oof[va_idx] = model.predict_proba(X_va)[:, 1]
    test_pred  += model.predict_proba(X_te)[:, 1] / skf.n_splits
    print(f"fold{fold} AUC = {roc_auc_score(y_va, oof[va_idx]):.4f}")

print(f"\n=== OOF AUC = {roc_auc_score(y, oof):.4f} ===")

# 6. 提出ファイル
submission = pd.DataFrame({id_col: test[id_col], target_col: test_pred})
submission.to_csv('submission.csv', index=False)

タスク3: CV=0.842 / LB=0.798 の乖離診断

🪜 Step-by-Step 解説

1目的変数を最初に見る

不均衡（例: 陽性 5%）なら Stratified K-Fold 必須。fold ごとにクラス比率が崩れると CV スコアが暴れる。AUC は不均衡に比較的頑健だが、CV 設計は必ず層化する。

2欠損値は「単純代入」から始める

3TargetEncoding は fold 内で fit（最重要）

# ❌ リーク: 全 train で category→target 平均を計算してから CV
# ✅ 正しい: fold の train 部分だけで計算し、valid と test に適用

4OOF で「正直な」スコアを測る

out-of-fold 予測は「学習に使っていないデータへの予測」を全 train 分そろえたもの。これで計算した AUC が「LB に最も近い自分だけの評価指標」。パラメータ変更の良し悪しは常に OOF で判断する。

5test 予測は fold 平均

各 fold のモデルは少しずつ違うデータで学習しているため、5 モデルの予測を平均すると分散が下がり安定する。軽いアンサンブル（bagging 効果）でもある。

6CV と LB が食い違ったら CV を信じる

🧮 数学・統計の補足（文系向け）

AUC を直感で理解する

AUC = 1.0 → 完璧に並べられる
AUC = 0.5 → コイン投げと同じ（無意味）
AUC = 0.8 → 8割の確率で 陽性 > 陰性 に並べられる

Smoothing の式の意味

🏆 Kaggleでの実践的な使い方

この総復習パイプラインが「土台」になる

今日組んだ枠組みは Phase 4 以降でそのまま拡張される。OOF と test_pred の枠組みは変わらず、中身を差し替えるだけでスコアが伸びる。

Bronze 圏内に入るための実務チェック

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: パイプラインに Adversarial Validation（train と test を見分ける分類器で分布ズレ検出）を追加し、CV と LB の乖離を実際に診断する
• 次回予告: Phase 4（青帯）突入 — 「Gradient Boosting とは何か」（Day 090）。決定木を「順番に弱点を補強していく」Boosting の直感を文系向けに解き明かす

📝 自己評価（解いた後に記入）