Day 077 — データリークとは何か — リークの種類・防ぎ方・実例

📚 背景知識（読んでから問題へ）

身近な例えで理解する

🔍 リークの2大種類

1. ターゲットリーク (Target Leakage)

目的変数と強く相関するが、実際の予測時点では取得できない特徴量を使う場合。

2. 訓練-テストリーク (Train-Test Contamination)

前処理の際にテストデータの情報が訓練データに漏れる場合。

# NG: testも含めてfit
scaler = StandardScaler()
X_all = pd.concat([X_train, X_test])
X_all_s = scaler.fit_transform(X_all)  # ← testの統計量が混入

# OK: trainだけでfit、testはtransformのみ
scaler = StandardScaler()
X_train_s = scaler.fit_transform(X_train)   # trainのみでfit
X_test_s  = scaler.transform(X_test)         # transformのみ（fitしない）

⏰ タイムライン思考でリークを発見する

リーク検出の鉄則は 「この特徴量、本番環境の予測時点で持てるか？」 と問い続けること。

ローン審査の例

時系列データでのリーク例

# NG: 全期間の平均を特徴量に使う（未来データが混入）
df['store_avg_sales'] = df.groupby('store_id')['sales'].transform('mean')

# OK: expandingでその時点までの平均のみ使用
df['store_avg_sales'] = (
    df.sort_values('date')
      .groupby('store_id')['sales']
      .expanding()
      .mean()
      .shift(1)  # 現在時点を除外
      .reset_index(level=0, drop=True)
)

📊 リーク有無によるスコア乖離の可視化

リークがあると、CV スコアと LB（本番）スコアで大きな乖離が生じます。

特徴量重要度でリークを検出

1つの特徴量が突出して高い重要度を持つ場合は、ターゲットリークを強く疑ってください。

🎯 問題

スニペット A

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_all = pd.concat([X_train, X_test])
X_all_scaled = scaler.fit_transform(X_all)
X_train_s = X_all_scaled[:len(X_train)]
X_test_s  = X_all_scaled[len(X_train):]

スニペット B

# 欠損値を列の中央値で補完
for col in num_cols:
    median_val = X_train[col].median()
    X_train[col].fillna(median_val, inplace=True)
    X_test[col].fillna(median_val, inplace=True)

スニペット C

# groupby集計で特徴量追加
X_train['mean_price_by_neighborhood'] = (
    X_train.groupby('Neighborhood')['SalePrice'].transform('mean')
)

スニペット D

# 時系列データでのlag特徴量
df = df.sort_values('date')
df['lag1_sales'] = df['sales'].shift(1)  # 1日前の売上
train = df[df['date'] < '2024-01-01']
test  = df[df['date'] >= '2024-01-01']

スニペット E

from sklearn.model_selection import KFold

kf = KFold(n_splits=5, shuffle=True, random_state=42)
scores = []
for train_idx, val_idx in kf.split(X):
    X_tr, X_val = X[train_idx], X[val_idx]
    y_tr, y_val = y[train_idx], y[val_idx]

    scaler = StandardScaler()
    X_tr_s  = scaler.fit_transform(X_tr)
    X_val_s = scaler.transform(X_val)   # ← ここ重要

    model = Ridge()
    model.fit(X_tr_s, y_tr)
    scores.append(mean_squared_error(y_val, model.predict(X_val_s)))

💡 ヒント

# A の正解パターン
scaler = StandardScaler()
X_train_s = scaler.fit_transform(X_train)  # trainだけでfit
X_test_s  = scaler.transform(X_test)        # testはtransformのみ

# C は目的変数 SalePrice を X_train の groupby で直接使っているのが問題
# Target Encoding を安全に行うには OOF 方式（Day 076）が必要

# E はすでに正しい実装（fold内で独立してscalerをfit）

✅ 模範解答

A の詳細解説と修正

scaler = StandardScaler()
X_train_s = scaler.fit_transform(X_train)  # X_trainのみでfit（μ,σを記憶）
X_test_s  = scaler.transform(X_test)        # transformのみ（fitしない）

C の詳細解説と修正

SalePrice は目的変数。訓練データ内でも各サンプルの SalePrice が自分自身のグループ平均に含まれるため、ターゲットリークが発生します。

from sklearn.model_selection import KFold
import numpy as np

def oof_target_encode(X_tr, y_tr, X_te, col, n_splits=5, smoothing=10):
    global_mean = y_tr.mean()
    X_tr_enc = np.zeros(len(X_tr))
    kf = KFold(n_splits=n_splits, shuffle=True, random_state=42)

    for tr_idx, val_idx in kf.split(X_tr):
        tr_fold = X_tr.iloc[tr_idx]
        y_fold  = y_tr.iloc[tr_idx]
        means = y_fold.groupby(tr_fold[col]).agg(['mean', 'count'])
        # Smoothing: 少数カテゴリはglobal_meanに引き寄せる
        smooth = (1 / (1 + np.exp(-(means['count'] - 1) / smoothing)))
        means['enc'] = global_mean * (1 - smooth) + means['mean'] * smooth
        X_tr_enc[val_idx] = X_tr.iloc[val_idx][col].map(means['enc']).fillna(global_mean)

    # testは全trainデータで作成した統計量を使う
    all_means = y_tr.groupby(X_tr[col]).agg(['mean', 'count'])
    smooth = (1 / (1 + np.exp(-(all_means['count'] - 1) / smoothing)))
    all_means['enc'] = global_mean * (1 - smooth) + all_means['mean'] * smooth
    X_te_enc = X_te[col].map(all_means['enc']).fillna(global_mean)

    return X_tr_enc, X_te_enc.values

🪜 Step-by-Step 解説

🔧 sklearn Pipeline でリークを構造的に防ぐ

Pipeline を使うと、CV の各 fold で前処理が自動的に train fold だけに対して実行されます。

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge
from sklearn.model_selection import cross_val_score
import numpy as np

# Pipeline = 前処理 + モデルをひとまとめにする
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('model',  Ridge())
])

# cross_val_score が fold ごとに scaler.fit を train fold だけで実行してくれる
scores = cross_val_score(
    pipe, X_train, y_train,
    cv=5,
    scoring='neg_mean_squared_error'
)
rmse_scores = np.sqrt(-scores)
print(f"CV RMSE: {rmse_scores.mean():.4f} ± {rmse_scores.std():.4f}")

✔️ 実践的リークチェックリスト

⚡ よくある誤解・ミス

🚀 次のステップ

• 発展: 時系列 CV でのリーク防止（TimeSeriesSplit・GroupKFold）
• 実践: 過去の自分のコードでリークが混入していないかをチェックリストで確認
• 次回予告 (Day 078): Kaggle のコンペ構造 — データ・評価指標・提出形式の読み方

📝 自己評価（解いた後に記入）