Day 139 — 高度なアンサンブル④ — Feature MaskingはノイズTTAより「安定した改善」につながるか

📚 背景知識（読んでから問題へ）

🪄 実験デザイン（Day136-138と同じ分割・同じベースモデル）

再学習は一切行わない。ベースモデルはDay136-138と全く同じなので単一予測の精度も同じ0.7967になる。

🎯 問題

Day136-138と同じ合成分類データ・同じ分割方法（ラベル付き300件・プール1500件・test 600件）、同じベースモデルを使います。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

LABELED_LEN = 300
POOL_LEN = 1500

X_labeled, y_labeled = X[:LABELED_LEN], y[:LABELED_LEN]
X_test, y_test = X[LABELED_LEN + POOL_LEN:], y[LABELED_LEN + POOL_LEN:]

baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)

💡 ヒント

def run_tta_mask(model, X_test, n_aug, mask_ratio, fill_values, rng, include_original=True):
    proba_sum = np.zeros((X_test.shape[0], model.n_classes_))
    n_terms = 0
    if include_original:
        proba_sum += model.predict_proba(X_test)
        n_terms += 1
    n_samples, n_features = X_test.shape
    n_mask = max(1, int(round(mask_ratio * n_features)))
    for i in range(n_aug):
        X_aug = X_test.copy()
        for row in range(n_samples):
            cols = rng.choice(n_features, size=n_mask, replace=False)
            X_aug[row, cols] = fill_values[cols]
        proba_sum += model.predict_proba(X_aug)
        n_terms += 1
    proba_avg = proba_sum / n_terms
    pred = proba_avg.argmax(axis=1)
    return pred, proba_avg

feat_mean = X_labeled.mean(axis=0)
for mask_ratio in [0.05, 0.10, 0.20, 0.30, 0.50]:
    rng = np.random.default_rng(0)
    pred, _ = run_tta_mask(baseline_model, X_test, n_aug=10, mask_ratio=mask_ratio, fill_values=feat_mean, rng=rng)
    acc = accuracy_score(y_test, pred)
    print(mask_ratio, acc, acc - single_acc)

✅ 模範解答

# --- ステップ0: ベースライン（Day136-138と同一） ---
baseline_model = RandomForestClassifier(n_estimators=300, random_state=0)
baseline_model.fit(X_labeled, y_labeled)
single_pred = baseline_model.predict(X_test)
single_acc = accuracy_score(y_test, single_pred)
# 実測: single_acc = 0.7967

feat_std = X_labeled.std(axis=0)
feat_mean = X_labeled.mean(axis=0)

# --- ステップ1: マスキングTTA関数 ---
def run_tta_mask(model, X_test, n_aug, mask_ratio, fill_values, rng, include_original=True):
    proba_sum = np.zeros((X_test.shape[0], model.n_classes_))
    n_terms = 0
    if include_original:
        proba_sum += model.predict_proba(X_test)
        n_terms += 1
    n_samples, n_features = X_test.shape
    n_mask = max(1, int(round(mask_ratio * n_features)))
    for i in range(n_aug):
        X_aug = X_test.copy()
        for row in range(n_samples):
            cols = rng.choice(n_features, size=n_mask, replace=False)
            X_aug[row, cols] = fill_values[cols]
        proba_sum += model.predict_proba(X_aug)
        n_terms += 1
    proba_avg = proba_sum / n_terms
    pred = proba_avg.argmax(axis=1)
    return pred, proba_avg

# --- ステップ2: マスク率のスイープ（n_aug=10固定） ---
for mask_ratio in [0.05, 0.10, 0.20, 0.30, 0.50]:
    rng = np.random.default_rng(0)
    pred, _ = run_tta_mask(baseline_model, X_test, n_aug=10, mask_ratio=mask_ratio, fill_values=feat_mean, rng=rng)
    acc = accuracy_score(y_test, pred)
    print(f"mask_ratio={mask_ratio:.2f}: tta_acc={acc:.4f} delta={acc-single_acc:+.4f}")

# 実測結果:
# mask_ratio=0.05 (n_mask=1): tta_acc=0.7933 delta=-0.0033
# mask_ratio=0.10 (n_mask=2): tta_acc=0.7767 delta=-0.0200
# mask_ratio=0.20 (n_mask=4): tta_acc=0.7600 delta=-0.0367
# mask_ratio=0.30 (n_mask=6): tta_acc=0.7450 delta=-0.0517
# mask_ratio=0.50 (n_mask=10): tta_acc=0.6867 delta=-0.1100
# → マスク率を上げるほど悪化幅が単調に拡大する「量反応関係」がはっきり出ている

# --- ステップ4: 乱数シードによる安定性チェック ---
for mask_ratio in [0.05, 0.10, 0.20, 0.30]:
    accs = []
    for seed in range(5):
        rng = np.random.default_rng(seed)
        pred, _ = run_tta_mask(baseline_model, X_test, n_aug=10, mask_ratio=mask_ratio, fill_values=feat_mean, rng=rng)
        accs.append(accuracy_score(y_test, pred))
    print(f"mask_ratio={mask_ratio:.2f}: mean={np.mean(accs):.4f} std={np.std(accs):.4f} mean_delta={np.mean(accs)-single_acc:+.4f}")

# 実測結果:
# mask_ratio=0.05: mean_tta_acc=0.7900 std=0.0024 mean_delta=-0.0067
# mask_ratio=0.10: mean_tta_acc=0.7797 std=0.0022 mean_delta=-0.0170
# mask_ratio=0.20: mean_tta_acc=0.7673 std=0.0086 mean_delta=-0.0293
# mask_ratio=0.30: mean_tta_acc=0.7453 std=0.0062 mean_delta=-0.0513
# → mask_ratio=0.05(1列だけマスク)の時点で既にdelta(-0.0067)がstd(0.0024)の約3倍
#   「悪化している」と誤差の範囲を超えて言い切れる

# 参考: Day138のノイズTTA（同じ枠組みで再計算）
# scale_ratio=0.10: mean_tta_acc=0.8000 std=0.0037 mean_delta=+0.0033
# → ノイズTTAはdeltaとstdが同程度（言い切れない）。マスキングTTAはdeltaがstdの3〜6倍（言い切れる、ただし悪化）

# --- ステップ5: ノイズTTAとの直接対決 ---
rng_mask = np.random.default_rng(0)
pred_mask, _ = run_tta_mask(baseline_model, X_test, n_aug=10, mask_ratio=0.20, fill_values=feat_mean, rng=rng_mask)
rng_noise = np.random.default_rng(0)
pred_noise, _ = run_tta_noise(baseline_model, X_test, n_aug=10, noise_scale=0.10 * feat_std.mean(), rng=rng_noise)

fixed_mask = ((single_pred != y_test) & (pred_mask == y_test)).sum()
broken_mask = ((single_pred == y_test) & (pred_mask != y_test)).sum()
fixed_noise = ((single_pred != y_test) & (pred_noise == y_test)).sum()
broken_noise = ((single_pred == y_test) & (pred_noise != y_test)).sum()
agree_rate = (pred_mask == pred_noise).mean()

# 実測:
# mask: fixed=6 broken=28  (net -22)
# noise: fixed=7 broken=3  (net +4)
# mask-TTA と noise-TTA の予測一致率: 0.9217
# → マスキングは「壊す」方に大きく偏り、ノイズは「直す」方にわずかに偏る。方向が逆

# --- ステップ6: 併用実験 ---
combined_accs = []
for seed in range(5):
    rng = np.random.default_rng(seed)
    pred, _ = run_tta_combined(baseline_model, X_test, n_aug=10,
                                noise_scale=0.10 * feat_std.mean(), mask_ratio=0.20,
                                fill_values=feat_mean, rng=rng)
    combined_accs.append(accuracy_score(y_test, pred))

# 実測: combined(noise 0.10 + mask 0.20): mean_tta_acc=0.7690 std=0.0039 mean_delta=-0.0277
# → noise単体(+0.0037)・mask単体(-0.0293)の単純平均(-0.0128)よりmask単体に近い
#   「良いとこ取り」にはならず、マスキングの悪影響がノイズの微小な効果を押しつぶす

📊 結果の可視化（マスク率の量反応関係 と ノイズTTAとの対比）

20特徴量中10列（半分）をマスクすると精度は0.6867まで低下する。マスク列数が増えるほど、悪化幅がほぼ単調に拡大する量反応関係。

🪜 Step-by-Step 解説

1なぜマスク率を上げるほど悪化幅が「単調に」拡大するのか

# mask_ratio=0.05: delta=-0.0033 → 0.10: -0.0200 → 0.20: -0.0367 → 0.30: -0.0517 → 0.50: -0.1100

2なぜ同じ「delta vs std」のモノサシで、今回は「言い切れる」と判断できるのか

# mask_ratio=0.05: mean_delta=-0.0067  std=0.0024   → |delta|/std ≈ 2.8
# 参考(Day138) scale_ratio=0.10: mean_delta=+0.0033  std=0.0037   → |delta|/std ≈ 0.9

3なぜ併用実験で「良いとこ取り」にならなかったのか

# noise単体: mean_delta=+0.0037
# mask単体:  mean_delta=-0.0293
# combined:  mean_delta=-0.0277  （単純平均の-0.0128よりmask単体に近い）

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☐ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日は列平均での置き換えのみを試しましたが、「学習データからランダムに1件選んでその値で置き換える」「近傍サンプルの値で置き換える」など、他の置き換え方法でも同じように悪化するのか、それとも列平均という「情報量ゼロの代表値」を使ったことが特に悪影響だったのかを切り分けてみましょう
• 次回予告: Phase6テーマ3の5日目（このテーマ群の最終日）。Day136-139で得たPseudo Labeling・ノイズTTA・マスキングTTAの知見を整理し、「どの手法をどんな条件で使うべきか」の判断基準をまとめたうえで、2段階アンサンブルの基礎であるStacking（メタモデルによる予測の統合）に着手します

Phase 6 の学習マップ（全20テーマ）

Day136で単発Pseudo Labelingを、Day137でIterative Pseudo Labelingを、Day138でノイズ摂動TTAを、Day139でFeature Masking TTAを実装。次はテーマ群の総括とStackingに進む。

📝 自己評価（解いた後に記入）