Day 155 — NLP系コンペへの応用⑥ — クラスタ内Uncertainty Samplingの優位性は、Iterative Pseudo Labelingでも持続するのか

📚 背景知識（読んでから問題へ）

今日はDay137で扱ったIterative Pseudo Labeling(学習→予測→採用→再学習を複数ラウンド繰り返す枠組み)にDay154の(D)・(G)を拡張し、「pseudo_accが低い(G)は反復するほど誤ったラベルが蓄積し、(D)に追いつかれる・逆転されるのではないか」という懸念を検証する。

🗂️ データ・分割のスキーマ

threshold   = 0.60  # 各ラウンドのn_addedを決める基準（Day151-154と同一）
n_clusters  = 8     # KMeansのクラスタ数（D_iter/G_iter共通）
n_rounds    = 5     # 最大ラウンド数（採用0件になれば早期終了、Day137の枠組み）

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def run_iterative(seed, select_fn, threshold=0.60, n_clusters=8, n_rounds=5):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    cur_texts = labeled_df["text"].tolist()
    cur_labels = labeled_df["label"].tolist()
    remaining_df = unlabeled_df.copy().reset_index(drop=True)

    rows = []
    cum_true, cum_pred = [], []

    for r in range(1, n_rounds + 1):
        acc, _, vectorizer, model = train_and_eval(cur_texts, cur_labels, test_df)
        if len(remaining_df) == 0:
            break

        mask_conf, _ = select_confident_pseudo_labels(model, vectorizer, remaining_df, threshold)
        n_added = int(mask_conf.sum())
        if n_added == 0:
            break

        mask_sel, pseudo_sel = select_fn(model, vectorizer, remaining_df, n_added, n_clusters, seed)
        true_sel = remaining_df.loc[mask_sel, "label"].to_numpy()
        round_pseudo_acc = float((pseudo_sel == true_sel).mean())

        cum_true.append(true_sel); cum_pred.append(pseudo_sel)
        cum_pseudo_acc = float((np.concatenate(cum_pred) == np.concatenate(cum_true)).mean())

        cur_texts = cur_texts + remaining_df.loc[mask_sel, "text"].tolist()
        cur_labels = cur_labels + pseudo_sel.tolist()
        remaining_df = remaining_df.loc[~mask_sel].reset_index(drop=True)  # ★採用済みをプールから除外

        acc_after, _, _, _ = train_and_eval(cur_texts, cur_labels, test_df)
        rows.append({"round": r, "n_added": int(mask_sel.sum()), "pool_left": len(remaining_df),
                     "round_pseudo_acc": round_pseudo_acc, "cum_pseudo_acc": cum_pseudo_acc,
                     "test_acc": acc_after})
    return pd.DataFrame(rows)

✅ 模範解答

# POSITIVE_WORDS / NEGATIVE_WORDS / NEUTRAL_WORDS / make_text_dataset / train_and_eval /
# split_seed / select_confident_pseudo_labels / _cluster_and_quota /
# select_diverse_prefilter(D) / select_diverse_prefilter_uncertainty(G) は
# Day151-154と同一（省略）

def run_iterative(seed, select_fn, threshold=0.60, n_clusters=8, n_rounds=5):
    """select_fn: (model, vectorizer, remaining_df, n_target, n_clusters, seed) -> (mask, pseudo_labels)"""
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    cur_texts = labeled_df["text"].tolist()
    cur_labels = labeled_df["label"].tolist()
    remaining_df = unlabeled_df.copy().reset_index(drop=True)

    rows = []
    cum_true, cum_pred = [], []

    for r in range(1, n_rounds + 1):
        acc, _, vectorizer, model = train_and_eval(cur_texts, cur_labels, test_df)
        if len(remaining_df) == 0:
            break

        mask_conf, _ = select_confident_pseudo_labels(model, vectorizer, remaining_df, threshold)
        n_added = int(mask_conf.sum())
        if n_added == 0:
            break

        mask_sel, pseudo_sel = select_fn(model, vectorizer, remaining_df, n_added, n_clusters, seed)
        true_sel = remaining_df.loc[mask_sel, "label"].to_numpy()
        round_pseudo_acc = float((pseudo_sel == true_sel).mean())

        cum_true.append(true_sel); cum_pred.append(pseudo_sel)
        cum_pseudo_acc = float((np.concatenate(cum_pred) == np.concatenate(cum_true)).mean())

        cur_texts = cur_texts + remaining_df.loc[mask_sel, "text"].tolist()
        cur_labels = cur_labels + pseudo_sel.tolist()
        remaining_df = remaining_df.loc[~mask_sel].reset_index(drop=True)

        acc_after, _, _, _ = train_and_eval(cur_texts, cur_labels, test_df)
        rows.append({"round": r, "n_added": int(mask_sel.sum()), "pool_left": len(remaining_df),
                     "round_pseudo_acc": round_pseudo_acc, "cum_pseudo_acc": cum_pseudo_acc,
                     "test_acc": acc_after})
    return pd.DataFrame(rows)


SEEDS = [0, 1, 2, 3, 4]
N_ROUNDS = 5

all_d, all_g = [], []
for s in SEEDS:
    df_d = run_iterative(s, select_diverse_prefilter, n_rounds=N_ROUNDS); df_d["seed"] = s; all_d.append(df_d)
    df_g = run_iterative(s, select_diverse_prefilter_uncertainty, n_rounds=N_ROUNDS); df_g["seed"] = s; all_g.append(df_g)

df_d_all = pd.concat(all_d, ignore_index=True)
df_g_all = pd.concat(all_g, ignore_index=True)
mean_d = df_d_all.groupby("round")[["round_pseudo_acc", "cum_pseudo_acc", "test_acc"]].mean()
mean_g = df_g_all.groupby("round")[["round_pseudo_acc", "cum_pseudo_acc", "test_acc"]].mean()

# seedごとの own-final-round 比較
rows_final = []
for s in SEEDS:
    d_s, g_s = df_d_all[df_d_all["seed"]==s], df_g_all[df_g_all["seed"]==s]
    d_r1, g_r1 = d_s[d_s["round"]==1]["test_acc"].values[0], g_s[g_s["round"]==1]["test_acc"].values[0]
    d_last, g_last = d_s.iloc[-1], g_s.iloc[-1]
    rows_final.append({"seed": s, "gap_round1": g_r1 - d_r1,
        "d_final_acc": d_last["test_acc"], "g_final_acc": g_last["test_acc"],
        "gap_final": g_last["test_acc"] - d_last["test_acc"]})
df_final = pd.DataFrame(rows_final)
df_final["reversed"] = (df_final["gap_round1"] > 0) != (df_final["gap_final"] > 0)

mean_d_r1, mean_g_r1 = mean_d.loc[1, "test_acc"], mean_g.loc[1, "test_acc"]
mean_d_final, mean_g_final = df_final["d_final_acc"].mean(), df_final["g_final_acc"].mean()

assert mean_g_final > mean_d_final, "own-final-roundでG_iterがD_iterを上回っていません"
assert mean_d_final < mean_d_r1, "D_iterがconfirmation biasで劣化していません"
assert mean_g_final < mean_g_r1, "G_iterがconfirmation biasで劣化していません"
print("[OK] own-final-roundでもG_iterの優位性は消えていない")
print("[OK] D_iter・G_iterともにconfirmation biasで劣化するが、程度が大きく異なる")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
# [ラウンド別 平均（固定round番号）]
#  round  n_added(D)  round_pseudo_acc(D)  cum_pseudo_acc(D)  test_acc(D)  |  n_added(G)  round_pseudo_acc(G)  cum_pseudo_acc(G)  test_acc(G)
#      1        90.6              0.867442           0.867442     0.632727 |      90.6               0.590581           0.590581     0.680000
#      2       140.8              0.551895           0.676180     0.572727 |     143.6               0.701816           0.657712     0.649091
#      3        54.4              0.418792           0.622854     0.549091 |      59.0               0.804038           0.690196     0.645455
#      4        11.8              0.344933           0.612377     0.547273 |       6.4               0.803175           0.692877     0.643636
#      5         4.0              0.152778           0.602222     0.527273 |       2.0               0.500000           0.656667     0.590909
#
# mean baseline_acc（40件のみ、参考） = 0.7418
# gap(G-D)推移: round1 +0.0473 → round2 +0.0764 → round3 +0.0964 → round4 +0.0964 → round5 +0.0636
#
# [seedごとの own-final-round 比較]
#  seed  gap_round1  d_final_round  d_final_acc  g_final_round  g_final_acc  gap_final  reversed
#     0      0.0636              4       0.5636              4       0.6273     0.0636     False
#     1      0.0182              4       0.5818              4       0.6091     0.0273     False
#     2      0.0909              5       0.5364              4       0.7000     0.1636     False
#     3     -0.0636              5       0.5182              5       0.5909     0.0727      True   ← D優勢→G優勢に逆転
#     4      0.1273              5       0.5273              4       0.7000     0.1727     False
#
# mean gap_round1 (G-D) = +0.0473
# mean gap_final  (G-D) = +0.1000（round1の2倍以上）
# reversed件数 = 1 / 5
#
# mean_d_round1=0.6327 -> mean_d_final=0.5455 (Δ-0.0873, 相対-13.8%)
# mean_g_round1=0.6800 -> mean_g_final=0.6455 (Δ-0.0345, 相対-5.1%)
#
# [OK] own-final-roundでもG_iterの優位性は消えていない
# [OK] D_iter・G_iterともにconfirmation biasで劣化するが、程度が大きく異なる

📊 結果の可視化

🪜 Step-by-Step 解説

1gapが縮小するという予想が外れ、むしろ2倍以上に拡大した理由

gap_round1     = +0.0473   # Day154と同じ、1回だけの比較
gap_final(own) = +0.1000   # 各手法が到達した最終ラウンドどうしの比較
mean_d: 0.6327 -> 0.5455 (Δ-0.0873)   # (D)は大きく劣化
mean_g: 0.6800 -> 0.6455 (Δ-0.0345)   # (G)は小さく劣化

2(D)のround-local疑似ラベル精度が崩壊する悪循環のメカニズム

D_iter round_pseudo_acc: 0.867 -> 0.552 -> 0.419 -> 0.345 -> 0.153   # 単調に崩壊
D_iter n_added:            90.6 -> 140.8 -> 54.4  -> 11.8  -> 4.0    # round2で採用件数が急増

31つのseedで見られた「1回比較では劣勢だったGが、反復すると逆転する」実例

seed3: gap_round1 = -0.0636（D優勢: d=0.6818, g=0.6182）
       gap_final   = +0.0727（G優勢に逆転: d_final=0.5182, g_final=0.5909）

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（半教師あり学習全般に応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日はquota配分ルール(平均確信度が高いクラスタから余りを+1、Day152由来)を固定していた。この配分ルール自体を確信度非依存(均等配分)に変えた場合、(G)の反復への頑健性がさらに強まるのか、あるいは変わらないのかは未検証
• 次回予告: Day156では、上記のquota配分ルールを確信度非依存にした場合のIterative Pseudo Labelingへの影響を検証する。あるいは、今日発見した「採用件数急増×正解率急落」の早期警告シグナルを使って(D)側に早期打ち切りルールを導入した場合、劣化がどこまで緩和できるかを検証する候補もある

Phase 6 の学習マップ（NLP系コンペへの応用フェーズ継続中）

Day154の単発の改善が「たまたま1回だけ良かった」のか「反復しても崩れない性質」なのかを検証したのが今日の位置づけ。結果は後者であり、Phase6のケーススタディとして「1回きりの比較と反復運用での評価は別物である」という教訓を残した。

📝 自己評価（解いた後に記入）