Day 109 — Phase 4 総復習 — Tabularコンペで上位10%（Silverメダル）を目指す

📚 背景知識（読んでから問題へ）

料理でいうと「基本の一皿」から「コンテスト用のコース料理」への格上げです。Bronzeは「丁寧に基本を守れば届く」領域ですが、Silverは モデルの多様性・検証の厳密さ・自分の予測を疑う力 が要求されます。

Bronze → Silver で何が変わるか

🗺️ Phase 4 の19日間マップ

📐 評価指標: RMSE を視覚的に理解する

なぜ2乗するのか？ 5件の予測を例に、「そのままの誤差」と「2乗した誤差」を比べてみます。

🎯 問題

Kaggle Expert（Bronze 2枚 or Silver 1枚は達成済み）として、Playground Series 相当の 回帰コンペ（評価指標 RMSE）に参加し、Silver圏内（上位10%）を目指す設定です。

データスキーマ

train: 50,000行 / test: 20,000行 / 提出形式: id,target

タスク

💡 ヒント

import optuna
import numpy as np
from sklearn.model_selection import KFold
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error
import lightgbm as lgb
import xgboost as xgb

# --- Optuna: 内側CV専用（チューニングのみ） ---
def objective(trial):
    params = {
        'num_leaves': trial.suggest_int('num_leaves', 15, 63),
        'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.1, log=True),
        'min_child_samples': trial.suggest_int('min_child_samples', 5, 50),
    }
    kf_inner = KFold(n_splits=3, shuffle=True, random_state=0)  # ★外側とは別のCV
    scores = []
    for tr_idx, va_idx in kf_inner.split(X):
        model = lgb.LGBMRegressor(**params, n_estimators=500, random_state=42)
        model.fit(X.iloc[tr_idx], y.iloc[tr_idx])
        pred = model.predict(X.iloc[va_idx])
        scores.append(mean_squared_error(y.iloc[va_idx], pred, squared=False))
    return np.mean(scores)

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=30)

# --- 外側5-Fold: OOF生成・最終評価用（チューニングには使わない） ---
kf_outer = KFold(n_splits=5, shuffle=True, random_state=42)
oof_lgb = np.zeros(len(X))
# ... LightGBM・XGBoostそれぞれで同様にOOFを作る ...

# --- Level-2 Stacking ---
oof_matrix = np.column_stack([oof_lgb, oof_xgb])
meta_model = Ridge(alpha=1.0)
meta_model.fit(oof_matrix, y)

✅ 模範解答

タスク1: Silverに向けた5つの打ち手（優先度順）

タスク2〜5: 統合パイプライン実装

import numpy as np
import pandas as pd
import optuna
from sklearn.model_selection import KFold
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error
import lightgbm as lgb
import xgboost as xgb
import shap

optuna.logging.set_verbosity(optuna.logging.WARNING)

# ====== 0. データ読み込み ======
train = pd.read_csv('train.csv')
test  = pd.read_csv('test.csv')
y = train['target']
X = train.drop(columns=['target', 'id'])
X_test = test.drop(columns=['id'])

cat_cols = X.select_dtypes(exclude='number').columns.tolist()
for c in cat_cols:
    X[c] = X[c].astype('category')
    X_test[c] = X_test[c].astype('category')

# ====== 1. Optuna（内側CV=3-Fold・チューニング専用） ======
def objective(trial):
    params = {
        'num_leaves': trial.suggest_int('num_leaves', 15, 63),
        'learning_rate': trial.suggest_float('learning_rate', 0.01, 0.1, log=True),
        'min_child_samples': trial.suggest_int('min_child_samples', 5, 50),
        'subsample': trial.suggest_float('subsample', 0.6, 1.0),
        'colsample_bytree': trial.suggest_float('colsample_bytree', 0.6, 1.0),
    }
    kf_inner = KFold(n_splits=3, shuffle=True, random_state=0)
    scores = []
    for tr_idx, va_idx in kf_inner.split(X):
        model = lgb.LGBMRegressor(**params, n_estimators=500, random_state=42)
        model.fit(X.iloc[tr_idx], y.iloc[tr_idx])
        pred = model.predict(X.iloc[va_idx])
        scores.append(mean_squared_error(y.iloc[va_idx], pred, squared=False))
    return np.mean(scores)

study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=30)
best_params = study.best_params
print("Best params:", best_params)

# ====== 2. 外側5-Fold: LightGBM・XGBoost で OOF + test 予測 ======
kf_outer = KFold(n_splits=5, shuffle=True, random_state=42)
oof_lgb, oof_xgb = np.zeros(len(X)), np.zeros(len(X))
test_lgb, test_xgb = np.zeros(len(X_test)), np.zeros(len(X_test))
final_lgb_model = None

for fold, (tr_idx, va_idx) in enumerate(kf_outer.split(X)):
    X_tr, X_va = X.iloc[tr_idx], X.iloc[va_idx]
    y_tr, y_va = y.iloc[tr_idx], y.iloc[va_idx]

    # --- LightGBM（Optunaのベストパラメータを使用） ---
    model_lgb = lgb.LGBMRegressor(**best_params, n_estimators=1000, random_state=42)
    model_lgb.fit(
        X_tr, y_tr, eval_set=[(X_va, y_va)],
        callbacks=[lgb.early_stopping(50), lgb.log_evaluation(0)],
    )
    oof_lgb[va_idx] = model_lgb.predict(X_va)
    test_lgb += model_lgb.predict(X_test) / kf_outer.n_splits
    final_lgb_model = model_lgb  # SHAP用に最後のfoldモデルを保持

    # --- XGBoost（手堅い固定パラメータ） ---
    model_xgb = xgb.XGBRegressor(
        max_depth=6, learning_rate=0.03, n_estimators=1000,
        subsample=0.8, colsample_bytree=0.8,
        enable_categorical=True, random_state=42,
    )
    model_xgb.fit(X_tr, y_tr, eval_set=[(X_va, y_va)], verbose=False)
    oof_xgb[va_idx] = model_xgb.predict(X_va)
    test_xgb += model_xgb.predict(X_test) / kf_outer.n_splits

    print(f"fold{fold} LGBM RMSE={mean_squared_error(y_va, oof_lgb[va_idx], squared=False):.4f} "
          f"XGB RMSE={mean_squared_error(y_va, oof_xgb[va_idx], squared=False):.4f}")

print(f"\nLightGBM OOF RMSE: {mean_squared_error(y, oof_lgb, squared=False):.4f}")
print(f"XGBoost  OOF RMSE: {mean_squared_error(y, oof_xgb, squared=False):.4f}")

# ====== 3. Level-2 Stacking（Ridge回帰） ======
oof_matrix  = np.column_stack([oof_lgb, oof_xgb])
test_matrix = np.column_stack([test_lgb, test_xgb])

meta_model = Ridge(alpha=1.0)
meta_model.fit(oof_matrix, y)
oof_stack  = meta_model.predict(oof_matrix)
test_stack = meta_model.predict(test_matrix)

print(f"\n=== Stacking OOF RMSE: {mean_squared_error(y, oof_stack, squared=False):.4f} ===")
print("Meta weights (LGBM, XGB):", meta_model.coef_)

# ====== 4. SHAP で最終モデル（LightGBM）を解釈 ======
explainer = shap.TreeExplainer(final_lgb_model)
shap_values = explainer.shap_values(X_va)
importance = pd.Series(np.abs(shap_values).mean(axis=0), index=X.columns)
print("\nSHAP 上位3特徴量:")
print(importance.sort_values(ascending=False).head(3))

# ====== 5. 提出ファイル作成 ======
submission = pd.DataFrame({'id': test['id'], 'target': test_stack})
submission.to_csv('submission.csv', index=False)
print(submission.head())

タスク6: CV=0.352 / LB=0.361 の判断とSHAPチェック

🧩 アンサンブルの効果（参考シミュレーション値）

架空のコンペ設定における典型的な傾向を示す参考値。RMSEは小さいほど良い指標なので、バーが短いほど高性能を意味する。

単体モデル → 単純平均 → Stackingの順に誤差が小さくなる。誤差パターンが異なる2モデルを組み合わせるほど、分散が下がりRMSEが改善する典型例。

🔍 SHAP解釈: 上位3特徴量（参考シミュレーション値）

🪜 Step-by-Step 解説

1Optunaの内側CVを外側CVと分離する（NestedCV）

kf_inner = KFold(n_splits=3, shuffle=True, random_state=0)   # Optuna専用
kf_outer = KFold(n_splits=5, shuffle=True, random_state=42)  # OOF・評価専用

2LightGBMとXGBoostで別々にOOFを作る

oof_lgb[va_idx] = model_lgb.predict(X_va)
oof_xgb[va_idx] = model_xgb.predict(X_va)

3Ridge回帰でLevel-2 Stacking

meta_model = Ridge(alpha=1.0)
meta_model.fit(oof_matrix, y)

4SHAPで最終モデルの妥当性を確認

importance = pd.Series(np.abs(shap_values).mean(axis=0), index=X.columns)

5最終提出は「説明できるCV」を選ぶ

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 画像認識（CV） / ☑ 時系列（Time Series）

Silverメダル圏内に入るための実務チェック

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: このパイプラインに CatBoost を3本目のベースモデルとして追加し、Stackingの重みがどう変化するか確認する。また optuna の n_trials を増やし、探索の安定性を比較する
• 次回予告: Phase 5（紫帯）突入 — 「ディープラーニング基礎（ニューラルネットワークの直感）」（Day 110）。GBDTが苦手とする画像・テキスト・複雑な非線形パターンに、なぜニューラルネットワークが強いのかを文系向けに解き明かす

Kaggleランクの道のり

Phase 3でBronze圏内（上位40%）の型を習得し、Phase 4でモデル多様性・NestedCV・Stacking・SHAPを積み上げてSilver圏内（上位10%）を狙えるところまで到達。Phase 5ではさらにGold（上位1%前後）を目指す武器を増やしていく。

🎉 Phase 4 完走！ GBDT・Optuna・高度な特徴量工学・アンサンブル・SHAP解釈まで、Kaggle Expert〜Silver到達に必要な武器がそろいました。

📝 自己評価（解いた後に記入）