Day 080 — CV設計戦略 — Stratified K-Fold で Titanic を正確に評価する

📚 背景知識（読んでから問題へ）

🔀 CVの種類と使い分け

⚖️ Stratified K-Fold が重要な理由

Titanic のような二値分類では、ランダムにFold分割すると各Foldの生存率にバラつきが生じます。Stratified K-Fold を使うと、各Foldで「生存率 ≈ 全体の生存率（38%）」が保証されます。

🎯 問題

import pandas as np
import numpy as np
from sklearn.model_selection import KFold, StratifiedKFold, cross_val_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import LabelEncoder

train = pd.read_csv('train.csv')
train['Sex_enc']      = LabelEncoder().fit_transform(train['Sex'])
train['Age']          = train['Age'].fillna(train['Age'].median())
train['Embarked']    = train['Embarked'].fillna('S')
train['Embarked_enc'] = LabelEncoder().fit_transform(train['Embarked'])

features = ['Pclass', 'Sex_enc', 'Age', 'SibSp', 'Parch', 'Fare', 'Embarked_enc']
X = train[features]
y = train['Survived']
model = RandomForestClassifier(n_estimators=100, random_state=42)

問題1: K-Fold vs Stratified K-Fold を比較する

上記コードに続けて、KFold(n_splits=5) と StratifiedKFold(n_splits=5) の両方で cross_val_score を実行し、各Foldのスコアと平均・標準偏差を出力するコードを書いてください。

問題2: データリークを修正する

以下のコードは間違った CV の使い方です。何が問題で、どう修正すべきか説明してください。

# 全データで特徴量を作成してからCVする（NG）
train['Age_mean']  = train.groupby('Pclass')['Age'].transform('mean')
train['Fare_mean'] = train.groupby('Pclass')['Fare'].transform('mean')

X_leak = train[features + ['Age_mean', 'Fare_mean']]
skf    = StratifiedKFold(n_splits=5)
scores = cross_val_score(model, X_leak, y, cv=skf, scoring='accuracy')
print(scores.mean())

問題3: 状況別CV選択

以下の各状況で使うべきCVの種類と理由を答えてください。

💡 ヒント

# 問題1の骨格
kf  = KFold(n_splits=5, shuffle=True, random_state=42)
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

for name, cv in [('KFold', kf), ('StratifiedKFold', skf)]:
    scores = cross_val_score(model, X, y, cv=cv, scoring='accuracy')
    print(f"{name}: {scores} | mean={scores.mean():.4f} std={scores.std():.4f}")

✅ 解答1: K-Fold vs Stratified K-Fold の比較

from sklearn.model_selection import KFold, StratifiedKFold, cross_val_score

kf  = KFold(n_splits=5, shuffle=True, random_state=42)
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

for name, cv in [('KFold         ', kf), ('StratifiedKFold', skf)]:
    scores = cross_val_score(model, X, y, cv=cv, scoring='accuracy')
    print(f"{name}: {scores.round(4)} | mean={scores.mean():.4f}  std={scores.std():.4f}")

# 出力例:
# KFold         : [0.8156 0.7989 0.8156 0.8268 0.8034] | mean=0.8121  std=0.0099
# StratifiedKFold: [0.8156 0.8101 0.8101 0.8268 0.8034] | mean=0.8132  std=0.0080

# ─── 各Foldのバリデーション生存率を確認 ───
print("\n--- 各FoldのVal生存率（Stratified）---")
for fold, (train_idx, val_idx) in enumerate(skf.split(X, y), 1):
    fold_rate = y.iloc[val_idx].mean()
    print(f"Fold {fold}: 生存率 = {fold_rate:.3f}")
print(f"全体の生存率: {y.mean():.3f}")

✅ 解答2: データリークの問題点と修正

# バリデーションデータの情報が計算に混入している
train['Age_mean'] = train.groupby('Pclass')['Age'].transform('mean')
# ↑ valデータの年齢も使って平均を計算している → リーク！

import numpy as np

def add_group_features(X_tr, X_val, train_fold_df, val_fold_df):
    """trainFoldのみで集計を計算してvalFoldに適用"""
    for col in ['Pclass']:
        # trainFoldのみで平均を計算
        means = train_fold_df.groupby(col)['Age'].mean()
        X_tr[f'Age_mean_by_{col}']  = train_fold_df[col].map(means)
        X_val[f'Age_mean_by_{col}'] = val_fold_df[col].map(means)
        # valにないグループはtrainの全体平均で補完
        X_val[f'Age_mean_by_{col}'] = X_val[f'Age_mean_by_{col}'].fillna(
            train_fold_df['Age'].mean()
        )
    return X_tr, X_val

skf    = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = []

for train_idx, val_idx in skf.split(X, y):
    X_tr       = X.iloc[train_idx].copy()
    X_val_fold = X.iloc[val_idx].copy()
    y_tr       = y.iloc[train_idx]
    y_val_fold = y.iloc[val_idx]

    # trainFoldのみで集計特徴量を計算
    tr_df  = train.iloc[train_idx]
    val_df = train.iloc[val_idx]
    X_tr, X_val_fold = add_group_features(X_tr, X_val_fold, tr_df, val_df)

    model.fit(X_tr, y_tr)
    scores.append(model.score(X_val_fold, y_val_fold))

print(f"リーク修正後: {np.mean(scores):.4f} ± {np.std(scores):.4f}")

✅ 解答3: 状況別CV選択の解答

🔢 Step-by-Step 解説

Step 1: CVの基本フロー（5-Fold の例）

Step 2: Stratified の「揃える」を実感する

from sklearn.model_selection import StratifiedKFold, KFold
import numpy as np

# 極端に不均衡なデータで差を確認
y_imbalanced = np.array([1]*10 + [0]*90)  # 陽性10% / 陰性90%

kf  = KFold(n_splits=5, shuffle=True, random_state=42)
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

print("── KFold（揃えない）──")
for i, (_, val_idx) in enumerate(kf.split(y_imbalanced), 1):
    print(f"Fold {i}: 陽性率 = {y_imbalanced[val_idx].mean():.2f}")

print("\n── Stratified KFold（揃える）──")
for i, (_, val_idx) in enumerate(skf.split(y_imbalanced, y_imbalanced), 1):
    print(f"Fold {i}: 陽性率 = {y_imbalanced[val_idx].mean():.2f}")

# KFold の例:    Fold 1: 0.05  Fold 2: 0.15  ... バラつく
# Stratified の例: Fold 1: 0.10  Fold 2: 0.10  ... 全Foldで10%に揃う

Step 3: CVスコアをモデル改善に使う

# CVスコアの解釈
# mean が高い → 全体的に良いモデル
# std  が低い → 安定したモデル（過学習リスクが低い）

# Kaggle での実用ルール:
# mean - std をモデルの「保守的な実力値」として参考にする

if improved_cv > baseline_cv + 0.001:
    print("→ 改善あり。本番提出へ")
elif improved_cv < baseline_cv - 0.001:
    print("→ 悪化。変更を元に戻す")
else:
    print("→ 誤差範囲内。std を確認して判断")

📉 CVとPublic LBの乖離を防ぐルール

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: Group K-Fold と Group Stratified K-Fold の実装（患者データ・ユーザーデータへの応用）
• 次回予告: Day 081 — 特徴量重要度の再確認 — Permutation Importance vs SHAP の使い分け

📝 自己評価（解いた後に記入）