Day 137 — 高度なアンサンブル② — Iterative Pseudo Labelingとconfirmation bias / selection biasの実測

📚 背景知識（読んでから問題へ）

Iterative Pseudo Labelingの5ステップ（繰り返し版）

🪄 実験デザイン（Day136と同じ2400件分割 + 反復ループ）

プールから採用したサンプルは除外され、二度と重複採用されない。累積で学習データが300件→最大1500件まで増えうる。

🎯 問題

Day136と同じ合成分類データ・同じ分割方法（ラベル付き300件・プール1500件・test 600件）を使います。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300
POOL_LEN = 1500

X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_pool_full = X[LABELED_LEN:LABELED_LEN + POOL_LEN]
y_pool_true_full = y[LABELED_LEN:LABELED_LEN + POOL_LEN]  # 検証専用
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

💡 ヒント

THRESHOLD = 0.60
N_ROUNDS = 10

X_train_cur, y_train_cur = X_labeled.copy(), y_labeled.copy()
remaining_idx = np.arange(POOL_LEN)

rows = []
cum_true, cum_pred = [], []

for r in range(1, N_ROUNDS + 1):
    model = RandomForestClassifier(n_estimators=300, random_state=0)
    model.fit(X_train_cur, y_train_cur)

    if len(remaining_idx) == 0:
        break

    X_rem = X_pool_full[remaining_idx]
    y_rem_true = y_pool_true_full[remaining_idx]
    proba = model.predict_proba(X_rem)
    conf, pred = proba.max(axis=1), proba.argmax(axis=1)

    mask = conf >= THRESHOLD
    if mask.sum() == 0:
        break

    round_pseudo_acc = accuracy_score(y_rem_true[mask], pred[mask])
    cum_true.append(y_rem_true[mask]); cum_pred.append(pred[mask])
    cum_pseudo_acc = accuracy_score(np.concatenate(cum_true), np.concatenate(cum_pred))

    X_train_cur = np.vstack([X_train_cur, X_rem[mask]])
    y_train_cur = np.concatenate([y_train_cur, pred[mask]])
    remaining_idx = remaining_idx[~mask]

    updated_model = RandomForestClassifier(n_estimators=300, random_state=0)
    updated_model.fit(X_train_cur, y_train_cur)
    test_acc = accuracy_score(y_test, updated_model.predict(X_test))

    rows.append((r, int(mask.sum()), len(remaining_idx), round_pseudo_acc, cum_pseudo_acc, test_acc))

✅ 模範解答

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300
POOL_LEN = 1500

X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_pool_full = X[LABELED_LEN:LABELED_LEN + POOL_LEN]
y_pool_true_full = y[LABELED_LEN:LABELED_LEN + POOL_LEN]
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

# --- ステップ1: ベースライン ---
baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)
baseline_acc = accuracy_score(y_test, baseline_model.predict(X_test))
print(f"baseline_acc = {baseline_acc:.4f}")
# 実測: baseline_acc = 0.7967

# --- ステップ3: 確信度分布の確認（閾値0.90は使えるか？） ---
pool_conf_check = baseline_model.predict_proba(X_pool_full).max(axis=1)
print(f"確信度: mean={pool_conf_check.mean():.4f} min={pool_conf_check.min():.4f} max={pool_conf_check.max():.4f}")
# 実測: mean=0.4944 min=0.2167 max=0.8900
# → 確信度の最大値が0.89までしか届かず、0.90以上のサンプルが1件も存在しない
#   → THRESHOLD=0.60に調整する

# --- ステップ2: Iterative Pseudo Labeling ---
THRESHOLD = 0.60
N_ROUNDS = 10

X_train_cur, y_train_cur = X_labeled.copy(), y_labeled.copy()
remaining_idx = np.arange(POOL_LEN)
rows = []
cum_true, cum_pred = [], []

for r in range(1, N_ROUNDS + 1):
    model = RandomForestClassifier(n_estimators=300, random_state=0)
    model.fit(X_train_cur, y_train_cur)
    if len(remaining_idx) == 0:
        break

    X_rem = X_pool_full[remaining_idx]
    y_rem_true = y_pool_true_full[remaining_idx]
    proba = model.predict_proba(X_rem)
    conf, pred = proba.max(axis=1), proba.argmax(axis=1)

    mask = conf >= THRESHOLD
    n_adopted = int(mask.sum())
    if n_adopted == 0:
        break

    round_pseudo_acc = accuracy_score(y_rem_true[mask], pred[mask])
    cum_true.append(y_rem_true[mask]); cum_pred.append(pred[mask])
    cum_pseudo_acc = accuracy_score(np.concatenate(cum_true), np.concatenate(cum_pred))

    X_train_cur = np.vstack([X_train_cur, X_rem[mask]])
    y_train_cur = np.concatenate([y_train_cur, pred[mask]])
    remaining_idx = remaining_idx[~mask]

    updated_model = RandomForestClassifier(n_estimators=300, random_state=0)
    updated_model.fit(X_train_cur, y_train_cur)
    test_acc = accuracy_score(y_test, updated_model.predict(X_test))

    rows.append((r, n_adopted, len(remaining_idx), round_pseudo_acc, cum_pseudo_acc, test_acc))

# 実測結果（THRESHOLD=0.60, random_state=0固定）:
# round adopted pool_left round_acc cum_acc test_acc   delta
#     1     343      1157    0.9504  0.9504   0.7633  -0.0333
#     2     255       902    0.9020  0.9298   0.7517  -0.0450
#     3     135       767    0.8000  0.9059   0.7617  -0.0350
#     4      70       697    0.7714  0.8941   0.7600  -0.0367
#     5      50       647    0.7600  0.8863   0.7500  -0.0467
#     6      18       629    0.8333  0.8852   0.7517  -0.0450
#     7      21       608    0.4762  0.8756   0.7517  -0.0450
#     8      14       594    0.5714  0.8709   0.7550  -0.0417
#     9      13       581    0.3846  0.8640   0.7517  -0.0450
#    10       8       573    0.6250  0.8619   0.7467  -0.0500
# 学習データ件数の推移: 300件 → 1227件

# --- ステップ5: 「疑似ラベル100%正解でもtest精度は落ちるか」のミニ実験 ---
for th in [0.85, 0.80, 0.75, 0.70]:
    deltas, pseudo_accs = [], []
    for seed in range(5):
        base = RandomForestClassifier(n_estimators=300, random_state=seed)
        base.fit(X_labeled, y_labeled)
        base_acc = accuracy_score(y_test, base.predict(X_test))

        proba = base.predict_proba(X_pool_full)
        conf, pred = proba.max(axis=1), proba.argmax(axis=1)
        mask = conf >= th
        if mask.sum() == 0:
            continue

        pseudo_acc = accuracy_score(y_pool_true_full[mask], pred[mask])
        X_aug = np.vstack([X_labeled, X_pool_full[mask]])
        y_aug = np.concatenate([y_labeled, pred[mask]])
        aug = RandomForestClassifier(n_estimators=300, random_state=seed)
        aug.fit(X_aug, y_aug)
        aug_acc = accuracy_score(y_test, aug.predict(X_test))

        deltas.append(aug_acc - base_acc)
        pseudo_accs.append(pseudo_acc)

    print(f"threshold={th}: mean_pseudo_acc={np.mean(pseudo_accs):.4f}  mean_delta={np.mean(deltas):+.4f}")

# 実測結果（5 random_state平均）:
# threshold=0.85: mean_pseudo_acc=1.0000  mean_delta=-0.0100
# threshold=0.80: mean_pseudo_acc=1.0000  mean_delta=-0.0120
# threshold=0.75: mean_pseudo_acc=0.9948  mean_delta=-0.0120
# threshold=0.70: mean_pseudo_acc=0.9750  mean_delta=-0.0187

📊 結果の可視化（10ラウンドの推移 と 100%正解でも落ちる delta）

🪜 Step-by-Step 解説

1なぜ「まだ採用していないプール」だけを毎回予測するのか

2なぜラウンドローカル正解率と累積正解率を両方記録するのか

round_pseudo_acc = accuracy_score(y_rem_true[mask], pred[mask])          # このラウンドだけ
cum_pseudo_acc = accuracy_score(np.concatenate(cum_true), np.concatenate(cum_pred))  # これまでの全部

3なぜ「疑似ラベル100%正解」でもtest精度が落ちたのか（selection bias）

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日はRandomForestで固定の閾値・固定のラウンド数で実験しましたが、実務では「ラウンドごとに閾値を段階的に引き上げる」戦略や、「1ラウンドあたりに追加するサンプル数の上限を決める」戦略もよく使われます。これらを実装し、今日確認したselection biasが緩和されるかを検証してみましょう
• 次回予告: Phase6テーマ3の3日目。今日学んだ「疑似ラベルの質は正解率だけでは測れない」という教訓を踏まえ、複数の予測（元データ＋摂動を加えたデータ）を平均して1つの最終予測にまとめるTTA（Test Time Augmentation）に取り組みます

Phase 6 の学習マップ（全20テーマ）

Day136で単発Pseudo Labelingを、Day137でIterative Pseudo Labelingを実装。次はTTA（Test Time Augmentation）に進む。

📝 自己評価（解いた後に記入）