Day 140 — 高度なアンサンブル⑤ — テーマ群総括 と Stacking基礎（OOFはなぜリークを防げるのか）

📚 背景知識（読んでから問題へ）

🗂️ Day136-139 総括（この4日間で何を測ってきたか）

今日の前半タスクは、この表を「次にどう使うか」の判断基準に変換すること。「delta が std の何倍あれば行動を変えるべきか」という共通のモノサシを、Pseudo LabelingとTTA両方に当てはめて一枚の意思決定表にする。

🎯 問題

Day136-139と同じ合成分類データ・同じ分割方法（ラベル付き300件・プール1500件・test 600件）、同じベースRandomForest設定を使います。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier, ExtraTreesClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import StratifiedKFold
from sklearn.metrics import accuracy_score

X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300
POOL_LEN = 1500
X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

💡 ヒント

from sklearn.base import clone

def get_oof_proba(model, X, y, skf, n_classes):
    oof = np.zeros((X.shape[0], n_classes))
    for train_idx, val_idx in skf.split(X, y):
        m = clone(model)
        m.fit(X[train_idx], y[train_idx])
        oof[val_idx] = m.predict_proba(X[val_idx])
    return oof

base_models = {
    "rf": RandomForestClassifier(n_estimators=300, random_state=0),
    "et": ExtraTreesClassifier(n_estimators=300, random_state=0),
    "knn": KNeighborsClassifier(n_neighbors=15),
    "logreg": LogisticRegression(max_iter=2000, random_state=0),
}
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
n_classes = len(np.unique(y_labeled))

oof_proba, test_proba = {}, {}
for name, model in base_models.items():
    oof_proba[name] = get_oof_proba(model, X_labeled, y_labeled, skf, n_classes)
    model.fit(X_labeled, y_labeled)
    test_proba[name] = model.predict_proba(X_test)

meta_X_train = np.hstack([oof_proba[n] for n in base_models])
meta_X_test = np.hstack([test_proba[n] for n in base_models])
meta_model = LogisticRegression(max_iter=2000, random_state=0)
meta_model.fit(meta_X_train, y_labeled)
stack_pred = meta_model.predict(meta_X_test)
print(accuracy_score(y_test, stack_pred))

✅ 模範解答

# --- ステップ0: ベースライン ---
baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)
single_acc = accuracy_score(y_test, baseline_model.predict(X_test))
# 実測: single_acc(RF) = 0.7967

# --- ステップ2: 4ベースモデルを個別に学習・評価 ---
base_models = {
    "rf": RandomForestClassifier(n_estimators=300, random_state=0),
    "et": ExtraTreesClassifier(n_estimators=300, random_state=0),
    "knn": KNeighborsClassifier(n_neighbors=15),
    "logreg": LogisticRegression(max_iter=2000, random_state=0),
}
test_proba_full = {}
for name, model in base_models.items():
    model.fit(X_labeled, y_labeled)
    test_proba_full[name] = model.predict_proba(X_test)
# 実測: rf=0.7967  et=0.8117  knn=0.7633  logreg=0.7667

# --- ステップ3: OOF予測 ---
def get_oof_proba(model, X, y, skf, n_classes):
    oof = np.zeros((X.shape[0], n_classes))
    for train_idx, val_idx in skf.split(X, y):
        m = clone(model)
        m.fit(X[train_idx], y[train_idx])
        oof[val_idx] = m.predict_proba(X[val_idx])
    return oof

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
oof_proba = {name: get_oof_proba(m, X_labeled, y_labeled, skf, 5) for name, m in base_models.items()}
# 実測 OOF acc: rf=0.7767  et=0.8067  knn=0.7500  logreg=0.7400
# → 全モデルでOOF精度がX_labeled全体学習のtest精度よりやや低い（学習に使える行が約240件しかないため）

# --- ステップ4: leak-free stacking ---
meta_X_train = np.hstack([oof_proba[n] for n in base_models])
meta_X_test = np.hstack([test_proba_full[n] for n in base_models])
meta_model = LogisticRegression(max_iter=2000, random_state=0)
meta_model.fit(meta_X_train, y_labeled)
stack_acc = accuracy_score(y_test, meta_model.predict(meta_X_test))
# 実測: STACKING (leak-free) acc = 0.8267  delta=+0.0300

# --- ステップ5: leakyバージョン（比較用） ---
insample_proba = {}
for name, model in base_models.items():
    m = clone(model); m.fit(X_labeled, y_labeled)
    insample_proba[name] = m.predict_proba(X_labeled)  # 学習に使った行自身への予測

meta_X_train_leaky = np.hstack([insample_proba[n] for n in base_models])
meta_model_leaky = LogisticRegression(max_iter=2000, random_state=0)
meta_model_leaky.fit(meta_X_train_leaky, y_labeled)
leaky_train_acc = accuracy_score(y_labeled, meta_model_leaky.predict(meta_X_train_leaky))
leaky_test_acc = accuracy_score(y_test, meta_model_leaky.predict(meta_X_test))
# 実測: 学習データ上の見かけの精度 = 1.0000（完璧）
# 実測: STACKING (LEAKY) test acc = 0.8183  delta=+0.0217
# → 学習acc=1.0000なのにtest accはleak-free(0.8267)より低い。見かけと汎化性能が逆転

# --- ステップ6: 単純平均アンサンブル ---
avg_proba = np.mean([test_proba_full[n] for n in base_models], axis=0)
avg_acc = accuracy_score(y_test, avg_proba.argmax(axis=1))
# 実測: 単純平均アンサンブル(4モデル) acc = 0.8283  delta=+0.0317
# → stacking(+0.0300)よりわずかに単純平均(+0.0317)の方が良い

# --- ステップ7: 組み合わせ総当たり ---
import itertools
for r in range(2, 5):
    for combo in itertools.combinations(base_models, r):
        p = np.mean([test_proba_full[n] for n in combo], axis=0)
        acc = accuracy_score(y_test, p.argmax(axis=1))
        print(combo, acc, acc - single_acc)

# 実測（抜粋）:
# rf+logreg          acc=0.7783 delta=-0.0183   ← 単体rfより悪化
# et+logreg          acc=0.7833 delta=-0.0133   ← これも悪化
# rf+et+knn          acc=0.8233 delta=+0.0267
# rf+et+knn+logreg   acc=0.8283 delta=+0.0317   ← 全モデル使用が最良

📊 結果の可視化

🪜 Step-by-Step 解説

1なぜOOF精度は、X_labeled全体で学習した場合のtest精度より低いのか

# rf:  X_labeled全体で学習→test acc=0.7967   vs   OOF acc=0.7767
# et:  X_labeled全体で学習→test acc=0.8117   vs   OOF acc=0.8067

2なぜleakyバージョンは学習データ上「完璧」なのに、testでは負けるのか

# leaky:     学習データ上の見かけの精度 = 1.0000    test acc = 0.8183
# leak-free: OOFベースの学習acc = 0.8267           test acc = 0.8267（学習acc ≈ test acc）

3なぜ「モデルを増やせば増やすほど良くなる」わけではないのか

# rf単体: 0.7967   logreg単体: 0.7667
# rf+logreg: 0.7783(悪化)   et+logreg: 0.7833(悪化)
# rf+et+knn+logreg: 0.8283（4モデルの中では最良）

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: メタモデルへの入力を「予測確率そのもの」ではなく「予測クラスのOne-Hotエンコーディング」や「予測確率の順位（Rank）」にした場合でも同じ傾向になるか試してみましょう。OOFのFold数を5から10に増やすと、stacking精度や学習acc/test accの一致度がどう変わるかも確認する価値があります
• 次回予告: Phase6テーマ3「高度なアンサンブル」（Day136-140、全5日）が完了しました。次はPhase6テーマ4「コンペ戦略・Gold 3枚達成プラン」（テーマ16-20）に入ります。これまでの技術的な実験(Pseudo Labeling・TTA・Stacking)を離れ、実際のKaggleコンペで「どのタイミングで何を試すか」「提出回数をどう配分するか」といった、より戦略的な意思決定のテーマに移ります

Phase 6 の学習マップ（全20テーマ）

Day136-137でPseudo Labeling、Day138-139でノイズ/マスキングTTA、Day140でStacking(OOF)を実装。Phase6テーマ3が全5日で完了し、次はコンペ戦略フェーズへ。

📝 自己評価（解いた後に記入）