Day 138 — 高度なアンサンブル③ — TTAはノイズ摂動でtest精度を改善できるか

📚 背景知識（読んでから問題へ）

TTAの基本発想（画像コンペでの定番・4ステップ）

🪄 実験デザイン（Day136-137と同じ分割・同じベースモデル）

再学習は一切行わない。ベースモデルはDay136-137と全く同じ（labeled 300件・RandomForestClassifier(n_estimators=300, random_state=0)）なので単一予測の精度も同じ0.7967になる。

🎯 問題

Day136-137と同じ合成分類データ・同じ分割方法（ラベル付き300件・プール1500件・test 600件）、同じベースモデルを使います。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300
POOL_LEN = 1500

X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)

💡 ヒント

def run_tta(model, X_test, n_aug, noise_scale, rng, include_original=True):
    proba_sum = np.zeros((X_test.shape[0], model.n_classes_))
    n_terms = 0
    if include_original:
        proba_sum += model.predict_proba(X_test)
        n_terms += 1
    for i in range(n_aug):
        noise = rng.normal(loc=0.0, scale=noise_scale, size=X_test.shape)
        X_aug = X_test + noise
        proba_sum += model.predict_proba(X_aug)
        n_terms += 1
    proba_avg = proba_sum / n_terms
    pred = proba_avg.argmax(axis=1)
    return pred, proba_avg

feat_std = X_labeled.std(axis=0)
for scale_ratio in [0.05, 0.10, 0.20, 0.30, 0.50, 0.80, 1.20]:
    scale = scale_ratio * feat_std.mean()
    rng = np.random.default_rng(0)
    pred, _ = run_tta(baseline_model, X_test, n_aug=10, noise_scale=scale, rng=rng)
    acc = accuracy_score(y_test, pred)
    print(scale_ratio, acc, acc - single_acc)

✅ 模範解答

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300
POOL_LEN = 1500

X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

# --- ステップ1: 単一予測のベースライン ---
baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)
single_pred = baseline_model.predict(X_test)
single_acc = accuracy_score(y_test, single_pred)
print(f"single_acc = {single_acc:.4f}")
# 実測: single_acc = 0.7967（Day136-137と同一条件なので同じ値）

feat_std = X_labeled.std(axis=0)
# 実測: feature std mean = 2.0302

# --- ステップ2: TTA関数 ---
def run_tta(model, X_test, n_aug, noise_scale, rng, include_original=True):
    proba_sum = np.zeros((X_test.shape[0], model.n_classes_))
    n_terms = 0
    if include_original:
        proba_sum += model.predict_proba(X_test)
        n_terms += 1
    for i in range(n_aug):
        noise = rng.normal(loc=0.0, scale=noise_scale, size=X_test.shape)
        X_aug = X_test + noise
        proba_sum += model.predict_proba(X_aug)
        n_terms += 1
    proba_avg = proba_sum / n_terms
    pred = proba_avg.argmax(axis=1)
    return pred, proba_avg

# --- ステップ3: ノイズ強度のスイープ（n_aug=10固定） ---
for scale_ratio in [0.05, 0.10, 0.20, 0.30, 0.50, 0.80, 1.20]:
    scale = scale_ratio * feat_std.mean()
    rng = np.random.default_rng(0)
    pred, _ = run_tta(baseline_model, X_test, n_aug=10, noise_scale=scale, rng=rng)
    acc = accuracy_score(y_test, pred)
    print(f"scale_ratio={scale_ratio:.2f}: tta_acc={acc:.4f} delta={acc-single_acc:+.4f}")

# 実測結果:
# scale_ratio=0.05: tta_acc=0.7983 delta=+0.0017
# scale_ratio=0.10: tta_acc=0.8033 delta=+0.0067
# scale_ratio=0.20: tta_acc=0.7967 delta=+0.0000
# scale_ratio=0.30: tta_acc=0.8000 delta=+0.0033
# scale_ratio=0.50: tta_acc=0.8017 delta=+0.0050
# scale_ratio=0.80: tta_acc=0.7833 delta=-0.0133
# scale_ratio=1.20: tta_acc=0.7683 delta=-0.0283

# --- ステップ5: 乱数シードによる安定性チェック ---
for scale_ratio in [0.10, 0.20, 0.30, 0.50]:
    scale = scale_ratio * feat_std.mean()
    accs = []
    for seed in range(5):
        rng = np.random.default_rng(seed)
        pred, _ = run_tta(baseline_model, X_test, n_aug=10, noise_scale=scale, rng=rng)
        accs.append(accuracy_score(y_test, pred))
    print(f"scale_ratio={scale_ratio:.2f}: mean={np.mean(accs):.4f} std={np.std(accs):.4f} mean_delta={np.mean(accs)-single_acc:+.4f}")

# 実測結果:
# scale_ratio=0.10: mean_tta_acc=0.8000 std=0.0037 mean_delta=+0.0033
# scale_ratio=0.20: mean_tta_acc=0.8003 std=0.0045 mean_delta=+0.0037
# scale_ratio=0.30: mean_tta_acc=0.8000 std=0.0024 mean_delta=+0.0033
# scale_ratio=0.50: mean_tta_acc=0.7990 std=0.0045 mean_delta=+0.0023
# → deltaの大きさ(+0.002〜+0.004)が、シード間の標準偏差(0.002〜0.005)と同程度かそれ以下
#
# 参考: 高ノイズ域は劣化がシード間ブレより明確に大きい
# scale_ratio=0.80: mean_tta_acc=0.7883 std=0.0061 mean_delta=-0.0083
# scale_ratio=1.20: mean_tta_acc=0.7683 std=0.0091 mean_delta=-0.0283

# --- ステップ6: 単一予測とTTA予測の食い違い分析 ---
rng = np.random.default_rng(0)
pred_tta, _ = run_tta(baseline_model, X_test, n_aug=10, noise_scale=0.20 * feat_std.mean(), rng=rng)
disagree = (pred_tta != single_pred)
fixed = ((single_pred != y_test) & (pred_tta == y_test)).sum()
broken = ((single_pred == y_test) & (pred_tta != y_test)).sum()
print(f"disagreement: {disagree.sum()} / {len(single_pred)}  fixed={fixed}  broken={broken}")
# 実測: disagreement: 26 / 600  fixed=10  broken=10

# --- ステップ7: n_estimatorsを増やすだけとの比較 ---
for n_est in [50, 100, 300, 600, 1000]:
    m = RandomForestClassifier(n_estimators=n_est, random_state=0)
    m.fit(X_labeled, y_labeled)
    acc = accuracy_score(y_test, m.predict(X_test))
    print(f"n_estimators={n_est}: acc={acc:.4f}")

# 実測結果:
# n_estimators=  50: acc=0.7683
# n_estimators= 100: acc=0.7900
# n_estimators= 300: acc=0.7967 （今日のbaseline）
# n_estimators= 600: acc=0.8000
# n_estimators=1000: acc=0.8067
# → 300→1000本に増やすだけで+0.0100。TTA最良設定の平均改善(+0.0037前後)より大きい

📊 結果の可視化（deltaの大きさ vs 乱数シードのブレ ／ n_estimators比較）

n_augを増やしても改善幅は単調に伸びず、±0.005程度の範囲で揺れ続ける。「回数を増やせば増やすほど良い」という単純な関係にはなっていない。

🪜 Step-by-Step 解説

1なぜノイズの強さを「絶対値」ではなく「特徴量の標準偏差に対する倍率」で指定するのか

feat_std = X_labeled.std(axis=0)
scale = scale_ratio * feat_std.mean()

2なぜ「乱数シードを変えたときのブレ」と比較する必要があるのか

3なぜ「fixed」と「broken」を分けて数える必要があるのか

fixed = ((single_pred != y_test) & (pred_tta == y_test)).sum()   # 10件
broken = ((single_pred == y_test) & (pred_tta != y_test)).sum()  # 10件

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☐ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日はガウスノイズによる摂動のみを試しましたが、表形式データには他にも「一部の特徴量をランダムに欠損値にして予測する（feature masking）」「特徴量の値を近傍のサンプルの値と一部入れ替える」といった摂動方法が考えられます。これらの摂動方法がノイズ摂動よりも体系的な改善につながるか、今日と同じ「乱数シードによるブレとの比較」の枠組みで検証してみましょう
• 次回予告: Phase6テーマ3の4日目。今日試したノイズ摂動の代わりに、特徴量ドロップアウト（feature masking）によるTTAを実装し、なぜ・どのような摂動方法であればノイズ摂動より安定した改善につながるのか（あるいはつながらないのか）を比較検証します

Phase 6 の学習マップ（全20テーマ）

Day136で単発Pseudo Labelingを、Day137でIterative Pseudo Labelingを、Day138でノイズ摂動TTAを実装。次はfeature maskingによるTTAの比較に進む。

📝 自己評価（解いた後に記入）