Day 159 — NLP系コンペへの応用⑩ — (D)のconfirmation biasは「新しい間違い」を生むのか「既存の間違いの確信度」だけ強めるのか

📚 背景知識（読んでから問題へ）

🗂️ データ・分類スキーマ

SEEDS      = [0,1,2,3,4]
n_rounds   = 5
track_rounds = (1, 5)  # ★このラウンド"入場時点"(選択判断に使われた)モデルを保存
test_df    # 各seedにつき110件、そのseedを通して不変(固定サンプル集合)

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def classify_transition(correct1, correct5, conf1, conf5):
    n = len(correct1)
    cats = np.empty(n, dtype=object)
    for i in range(n):
        if correct1[i] and correct5[i]:
            cats[i] = "stayed_correct"
        elif correct1[i] and not correct5[i]:
            cats[i] = "new_error"          # 正解 -> 不正解
        elif (not correct1[i]) and correct5[i]:
            cats[i] = "fixed"              # 不正解 -> 正解
        else:
            cats[i] = "stayed_wrong_more_confident" if conf5[i] > conf1[i] else "stayed_wrong_less_confident"
    return cats

✅ 模範解答

# make_text_dataset / train_and_eval / split_seed / select_confident_pseudo_labels /
# _cluster_and_quota / select_diverse_prefilter(D) / select_diverse_prefilter_uncertainty(G) は
# Day151-158と同一。run_iterative_track・predict_on_fixed_set・classify_transitionはヒント3・本文参照

def run_iterative_track(seed, select_fn, n_rounds=5, quota_mode="confidence", track_rounds=(1,5)):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    cur_texts, cur_labels = labeled_df["text"].tolist(), labeled_df["label"].tolist()
    remaining_df = unlabeled_df.copy().reset_index(drop=True)
    tracked = {}
    for r in range(1, n_rounds+1):
        acc, vectorizer, model = train_and_eval(cur_texts, cur_labels, test_df)  # ★入場時点モデル
        if r in track_rounds:
            tracked[r] = {"acc": acc, "vectorizer": vectorizer, "model": model}
        if len(remaining_df) == 0: break
        mask_conf, _ = select_confident_pseudo_labels(model, vectorizer, remaining_df, 0.60)
        n_added = int(mask_conf.sum())
        if n_added == 0: break
        mask_sel, pseudo_sel = select_fn(model, vectorizer, remaining_df, n_added, 8, seed, quota_mode)
        cur_texts = cur_texts + remaining_df.loc[mask_sel, "text"].tolist()
        cur_labels = cur_labels + pseudo_sel.tolist()
        remaining_df = remaining_df.loc[~mask_sel].reset_index(drop=True)
    return tracked, test_df

def predict_on_fixed_set(vectorizer, model, test_df):
    proba = model.predict_proba(vectorizer.transform(test_df["text"]))[:, 1]
    pred = (proba >= 0.5).astype(int)
    correct = (pred == test_df["label"].to_numpy())
    return proba, pred, correct, np.abs(proba - 0.5)

# D_base・G_baseを5シードで実行し、round1/round5入場モデルの予測をclassify_transitionで分類・集計
assert d_acc_r5 < d_acc_r1
assert d_stayed_wrong >= 20
assert d_mean_delta_wrong > 0
assert d_less_conf == 0
assert d_new_error > d_more_conf
assert (g_acc_r1 - g_acc_r5) < (d_acc_r1 - d_acc_r5)
print("[OK] 6個のassertすべて成立")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
#
# [全体集計 カテゴリ別件数（5シード x 110件 = 550件をプール）]
# D_base: stayed_correct=271  new_error=137  stayed_wrong_more_confident=112  fixed=30  stayed_wrong_less_confident=0
#         n_stayed_wrong(total)=112 (more_conf比率=100.0%)  mean_conf_delta(stayed_wrong)=+0.3549
# G_base: stayed_correct=320  stayed_wrong_more_confident=106  new_error=88  fixed=34  stayed_wrong_less_confident=2
#         n_stayed_wrong(total)=108 (more_conf比率=98.1%)  mean_conf_delta(stayed_wrong)=+0.2333
#
# [全体のacc: round1入場モデル vs round5入場モデル、fixed test_dfへの予測、5シード平均]
# D_base: acc_round1_entry=0.7418 -> acc_round5_entry=0.5473  (delta=-0.1945)
# G_base: acc_round1_entry=0.7418 -> acc_round5_entry=0.6436  (delta=-0.0982)
#   ※acc_round1_entryはD/Gで各seedごとに完全一致（設計の妥当性の確認）
#
# [新規エラー比率] new_error / (new_error + stayed_wrong)
# D: 137 / (137+112) = 0.5502
# G:  88 / ( 88+108) = 0.4490
#
# [OK] 6個のassertすべて成立

📊 結果の可視化

🪜 Step-by-Step 解説

1「round1入場モデルの精度がD・Gで完全一致する」ことを、実験設計の妥当性の確認に使う

D_base acc_round1_entry: [0.7636, 0.7273, 0.7818, 0.7364, 0.7000]
G_base acc_round1_entry: [0.7636, 0.7273, 0.7818, 0.7364, 0.7000]  # 完全一致

2「どちらが支配的か」という二択の問いを、件数の僅差(137 vs 112)という実測で相対化する

new_error = 137件, stayed_wrong_more_confident = 112件  # 差はわずか25件

3「件数は拮抗」でも「方向性は完全に非対称」という、別の軸の発見を両方残す

stayed_wrong_more_confident = 112件, stayed_wrong_less_confident = 0件

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（半教師あり学習全般に応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: round2・round3・round4の境界でも同じ集計を行えば、「新しい間違い」と「既存エラーの確信度強化」のどちらがどのラウンドから顕著になるか、時間的な内訳まで特定できる可能性がある
• 次回予告: Day160では、Day151〜159で積み上げた知見(quota配分・early stopping・難易度診断・confirmation biasのサンプル単位追跡)を1つの意思決定フローチャートとして統合し、Iterative Pseudo Labelingの設計指針としてまとめ直す回を予定

Phase 6 の学習マップ（NLP系コンペへの応用フェーズ継続中）

Day159は、Day158で見つかった「難易度だけでは説明できない残差」を、モデルの予測そのものをサンプル単位で追跡することで直接解剖した回。次はDay151-159の知見を1つの設計指針にまとめる番。

📝 自己評価（解いた後に記入）