Day 136 — 高度なアンサンブル① — Pseudo Labelingの基本と確信度閾値のトレードオフ

📚 背景知識（読んでから問題へ）

Pseudo Labelingとは何か（5ステップ）

🪄 実験デザイン（データ分割 2400件）

合計2400件（Day131〜135と同一の合成データ生成条件）。POOLは実際にはy_pool_trueを持つが、Pseudo Labelingの学習・採用判定には一切使わない。検証（疑似ラベル正解率の計算）にのみ特別に使用する。

🎯 問題

Day131〜135と同じ合成分類データを再利用しますが、今日は「ラベル付きデータが少ない」状況を再現するために分割方法を変えます。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# --- 合成データ生成（Day131〜135と同一の生成条件） ---
X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300   # 先頭300件だけを「手持ちの正解ラベル付きデータ」として使う
POOL_LEN = 1500      # 次の1500件を「ラベルなしプール」（実際にはyがあるが今回は隠して使う）
# 残り600件をtest（最終評価用、pseudo labelingには一切使わない）

X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_pool = X[LABELED_LEN:LABELED_LEN + POOL_LEN]
y_pool_true = y[LABELED_LEN:LABELED_LEN + POOL_LEN]   # 検証用にのみ使う「本当は見えないはずの正解」
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

💡 ヒント

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
import numpy as np

# --- ステップ1: ベースライン ---
baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)
baseline_acc = accuracy_score(y_test, baseline_model.predict(X_test))

# --- ステップ2: プールへの確信度付き予測 ---
pool_proba = baseline_model.predict_proba(X_pool)
pool_confidence = pool_proba.max(axis=1)
pool_pseudo_label = pool_proba.argmax(axis=1)

# --- ステップ3: 閾値ごとの実験 ---
thresholds = [0.99, 0.95, 0.90, 0.80, 0.60, 0.0]
rows = []
for th in thresholds:
    mask = pool_confidence >= th
    n_adopted = mask.sum()
    if n_adopted == 0:
        rows.append((th, 0, None, baseline_acc))
        continue

    pseudo_acc = accuracy_score(y_pool_true[mask], pool_pseudo_label[mask])

    X_aug = np.vstack([X_labeled, X_pool[mask]])
    y_aug = np.concatenate([y_labeled, pool_pseudo_label[mask]])

    aug_model = RandomForestClassifier(n_estimators=300, random_state=0)
    aug_model.fit(X_aug, y_aug)
    test_acc = accuracy_score(y_test, aug_model.predict(X_test))

    rows.append((th, n_adopted, pseudo_acc, test_acc))

✅ 模範解答

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# --- 合成データ生成（Day131〜135と同一の生成条件） ---
X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300
POOL_LEN = 1500

X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_pool = X[LABELED_LEN:LABELED_LEN + POOL_LEN]
y_pool_true = y[LABELED_LEN:LABELED_LEN + POOL_LEN]
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

# --- ステップ1: ベースライン（300件のみで学習） ---
baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)
baseline_acc = accuracy_score(y_test, baseline_model.predict(X_test))
print(f"ベースライン(labeled 300件のみ)精度: {baseline_acc:.4f}")
# 出力例: ベースライン(labeled 300件のみ)精度: 0.6883

# --- ステップ2: プールへの確信度付き予測 ---
pool_proba = baseline_model.predict_proba(X_pool)
pool_confidence = pool_proba.max(axis=1)
pool_pseudo_label = pool_proba.argmax(axis=1)

print(f"プール1500件の確信度分布:")
print(f"  平均: {pool_confidence.mean():.4f}  最小: {pool_confidence.min():.4f}  最大: {pool_confidence.max():.4f}")
# 出力例:
#   平均: 0.5127  最小: 0.1867  最大: 1.0000
#   0.99以上: 210件 / 0.90以上: 498件 / 0.60以上: 1035件

# --- ステップ3: 閾値ごとの実験 ---
thresholds = [0.99, 0.95, 0.90, 0.80, 0.60, 0.0]
rows = []
for th in thresholds:
    mask = pool_confidence >= th
    n_adopted = int(mask.sum())
    if n_adopted == 0:
        rows.append((th, 0, None, baseline_acc))
        continue

    pseudo_acc = accuracy_score(y_pool_true[mask], pool_pseudo_label[mask])

    X_aug = np.vstack([X_labeled, X_pool[mask]])
    y_aug = np.concatenate([y_labeled, pool_pseudo_label[mask]])

    aug_model = RandomForestClassifier(n_estimators=300, random_state=0)
    aug_model.fit(X_aug, y_aug)
    test_acc = accuracy_score(y_test, aug_model.predict(X_test))

    rows.append((th, n_adopted, pseudo_acc, test_acc))

# --- ステップ4: トレードオフの表 ---
print(f"{'閾値':>6} {'採用件数':>8} {'疑似ラベル正解率':>16} {'test精度':>10} {'改善幅':>8}")
for th, n, pseudo_acc, test_acc in rows:
    pseudo_str = f"{pseudo_acc:.4f}" if pseudo_acc is not None else "   N/A"
    print(f"{th:>6.2f} {n:>8d} {pseudo_str:>16} {test_acc:>10.4f} {test_acc-baseline_acc:>+8.4f}")

# 出力例（乱数・実行環境により変動）:
#   閾値  採用件数    疑似ラベル正解率    test精度    改善幅
#   0.99      210            0.9762     0.7100   +0.0217
#   0.95      356            0.9522     0.7183   +0.0300
#   0.90      498            0.9016     0.7250   +0.0367
#   0.80      701            0.8231     0.7133   +0.0250
#   0.60     1035            0.6976     0.6950   +0.0067
#   0.00     1500            0.5533     0.6683   -0.0200

📊 結果の可視化（採用件数・疑似ラベル正解率・test精度）

🪜 Step-by-Step 解説

1なぜ「ラベル付き300件だけ」から始めるのか

2確信度は「モデルの主観的な自信」であり「客観的な正しさ」ではない

pool_confidence = pool_proba.max(axis=1)   # モデルの「自己申告」
pseudo_acc = accuracy_score(y_pool_true[mask], pool_pseudo_label[mask])  # 客観的な正しさ

3なぜ「量」と「質」の両方を1つの表に並べる必要があるのか

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日は「1回だけ」疑似ラベルを付けて再学習しましたが、再学習したモデルでもう一度プールを予測し直し、さらに疑似ラベルを追加する——という操作を複数ラウンド繰り返すIterative Pseudo Labelingを試してみましょう。ラウンドを重ねるほど精度が単調に上がり続けるのか、それとも途中でconfirmation biasが蓄積して悪化に転じるのかを確認すると、今日学んだトレードオフがより鮮明に見えてきます
• 次回予告: Phase6テーマ3の2日目。今日の単発Pseudo Labelingを拡張し、Iterative Pseudo Labelingを実際にラウンドを重ねて実装し、「どのラウンドでconfirmation biasが顕在化し始めるか」を実測します

Phase 6 の学習マップ（全20テーマ）

Day131〜135でHybridMLPBlockまでのカスタムアーキテクチャ設計を完了。今日からはPhase6テーマ3「高度なアンサンブル」に入り、Pseudo LabelingとTTA（Test Time Augmentation）を扱う。

📝 自己評価（解いた後に記入）