Day 068 — Phase 2 総復習 — Kaggle初コンペ出場戦略

📚 背景知識（読んでから問題へ）

Kaggle コンペの全体構造

CV（Cross Validation）vs LB（Leaderboard）の関係

📋 Phase 2 習得技術の総整理

📊 CV vs LB スコア比較（問題の状況）

各モデルの CV・LB スコアと乖離（Gap）を視覚化。青 = CV、緑 = LB。

🗺️ スコア改善ループ（反復サイクル）

🧩 問題

状況

設問 1

Kaggle では最終提出として2件を選択できます。最良の組み合わせを選び、理由を説明してください。

設問 2

新特徴量追加後に CV は 0.834（過去最高）に上がったが、LB は 0.782（Optuna より低い）に下がりました。この現象の名称と対処法を説明してください。

設問 3

Phase 2（Day 049〜068）で習得した技術の中で、最も重要な3つを自分の言葉で説明してください。

💡 ヒント

import pandas as pd

results = {
    'ベースライン':      {'cv': 0.806, 'lb': 0.779},
    'Optuna':          {'cv': 0.821, 'lb': 0.786},
    '新特徴量':         {'cv': 0.834, 'lb': 0.782},
    'スタッキング':      {'cv': 0.829, 'lb': 0.784},
}

df = pd.DataFrame(results).T
df['gap'] = df['cv'] - df['lb']
print(df.sort_values('lb', ascending=False))

# → LB 降順: Optuna(0.786) > Stack(0.784) > 新特徴量(0.782) > Base(0.779)
# → Gap:     Base(0.027) < Optuna(0.035) < Stack(0.045) < 新特徴量(0.052)
# → 第1: Optuna（LB最高 + Gap小）
# → 第2: スタッキング（LB2位 + 多様性あり）

✅ 模範解答

設問 1: 最良の2提出

import pandas as pd

results = {
    'ベースライン':  {'cv': 0.806, 'lb': 0.779},
    'Optuna':       {'cv': 0.821, 'lb': 0.786},
    '新特徴量':      {'cv': 0.834, 'lb': 0.782},
    'スタッキング':  {'cv': 0.829, 'lb': 0.784},
}

df = pd.DataFrame(results).T
df['gap'] = df['cv'] - df['lb']
print(df.sort_values('lb', ascending=False))

#              cv     lb    gap
# Optuna    0.821  0.786  0.035  ← 第1選択: LB最高 + Gap小
# スタッキング 0.829  0.784  0.045  ← 第2選択: LB2位 + 多様性
# 新特徴量    0.834  0.782  0.052  ← 除外: Gap大きい
# ベースライン 0.806  0.779  0.027

設問 2: CV上がり LB下がりの原因と対処

現象名: CV 過学習（CV Overfitting）

訓練データに特有のパターン（Title・FamilySize・IsAlone などが訓練データ固有の分布）を新特徴量が拾ってしまい、テストデータに汎化できていない状態。

# 対処法1: 特徴量の分布をトレイン vs テストで比較
for col in ['Title', 'FamilySize', 'IsAlone']:
    print(f"=== {col} ===")
    print("Train:", train[col].value_counts(normalize=True).to_dict())
    print("Test: ", test[col].value_counts(normalize=True).to_dict())

# 対処法2: 特徴量を1つずつ追加してCVとLBの変化を個別確認
# → 一度に全部追加しない

# 対処法3: CV fold数を増やして variance を下げる
from sklearn.model_selection import StratifiedKFold
cv10 = StratifiedKFold(n_splits=10, shuffle=True, random_state=42)

設問 3: Phase 2 で最重要な3技術（例）

🔢 Step-by-Step 解説

import pandas as pd

results_df = pd.DataFrame({
    'cv':  [0.806, 0.821, 0.834, 0.829],
    'lb':  [0.779, 0.786, 0.782, 0.784],
}, index=['ベースライン', 'Optuna', '新特徴量', 'スタッキング'])

results_df['gap'] = results_df['cv'] - results_df['lb']
print(results_df.sort_values('lb', ascending=False))

# NG: 同系統モデル2つ（例: LightGBM + LightGBM(パラメータ違い)）
# OK: 単一モデル(Optuna) + アンサンブル(Stacking)
# → 多様性があるとPrivate LBで片方が失敗してもリスク分散できる

checklist = {
    '評価指標を使い分けられる（AUC/RMSE/Log Loss）': True,
    'StratifiedKFoldで CV を組める':               True,
    'LightGBM で fit/predict ができる':            True,
    'Optuna でハイパーパラメータ探索ができる':       True,
    '特徴量重要度（gain/SHAP）を読める':            True,
    'EDA（欠損・分布・相関）の基本フロー':          False,  # Phase 3
    '特徴量エンジニアリング（Target Encoding等）':  False,  # Phase 3
}
passed = sum(checklist.values())
print(f"Phase 2 習得チェック: {passed}/{len(checklist)}")

📐 数学・統計の補足（文系向け）

LB シェイクアップとは

コンペ終了後に Public LB（テストデータの一部で評価）から Private LB（全テストデータで評価）に切り替わると、順位が大きく入れ替わる現象。

🏆 Kaggleでの実践的な使い方

初コンペ推奨ワークフロー（4週間）

⚠️ よくある誤解・ミス

🚀 次のステップ

• Phase 2 完了 — 今日で Phase 2（緑帯）の全20テーマを完走
• Phase 3 開始（Day 069〜）— EDA・特徴量エンジニアリング・入門コンペへ
• 次回予告: Day 069 — EDA 入門 / 探索的データ分析の基本フロー（Titanic で実践）

📝 自己評価（解いた後に記入）