Day 158 — NLP系コンペへの応用⑨ — 「round1が大域最適」はプール難易度の入れ替わりという一般構造から来ているのか

📚 背景知識（読んでから問題へ）

make_text_datasetが生成するテキストはn_pos個のポジティブ語とn_neg個のネガティブ語を混ぜて作られ、ラベルはn_pos>n_negで決まる。abs_margin = abs(n_pos - n_neg)は、そのサンプルが本質的にどれだけ紛らわしいかを表す、選択ロジックには一切使わない診断専用の"神の視点"の難易度指標である(0=拮抗=ハード、2=一方的=イージー)。

🗂️ データ・難易度指標のスキーマ

threshold   = 0.60  # ラウンドのn_addedを決める基準（Day151-157と同一）
n_clusters  = 8     # KMeansのクラスタ数
quota_mode  = "confidence"  # Day156の実測により固定
stop_mode   = None  # ★今日は早期打ち切りなし。D_base/G_baseのみを診断対象にする

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def run_iterative_diag(seed, select_fn, threshold=0.60, n_clusters=8, n_rounds=5, quota_mode="confidence"):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    cur_texts = labeled_df["text"].tolist(); cur_labels = labeled_df["label"].tolist()
    remaining_df = unlabeled_df.copy().reset_index(drop=True)
    rows = []
    for r in range(1, n_rounds + 1):
        # ★診断: 選択前のプール難易度分布をスナップショット
        pool_n = len(remaining_df)
        pool_mean_margin = float(remaining_df["abs_margin"].mean()) if pool_n else np.nan

        acc, vectorizer, model = train_and_eval(cur_texts, cur_labels, test_df)
        if len(remaining_df) == 0: break
        mask_conf, _ = select_confident_pseudo_labels(model, vectorizer, remaining_df, threshold)
        n_added = int(mask_conf.sum())
        if n_added == 0: break
        mask_sel, pseudo_sel = select_fn(model, vectorizer, remaining_df, n_added, n_clusters, seed, quota_mode)
        true_sel = remaining_df.loc[mask_sel, "label"].to_numpy()
        round_pseudo_acc = float((pseudo_sel == true_sel).mean())
        selected_mean_margin = float(remaining_df.loc[mask_sel, "abs_margin"].mean())  # ★診断

        new_texts = cur_texts + remaining_df.loc[mask_sel, "text"].tolist()
        new_labels = cur_labels + pseudo_sel.tolist()
        new_remaining_df = remaining_df.loc[~mask_sel].reset_index(drop=True)
        acc_after, _, _ = train_and_eval(new_texts, new_labels, test_df)

        cur_texts, cur_labels, remaining_df = new_texts, new_labels, new_remaining_df
        rows.append({"round": r, "pool_n_before": pool_n, "pool_mean_margin_before": pool_mean_margin,
                     "selected_mean_margin": selected_mean_margin,
                     "round_pseudo_acc": round_pseudo_acc, "test_acc": acc_after})
    return pd.DataFrame(rows)

✅ 模範解答

# make_text_dataset(abs_margin列を追加) / train_and_eval / split_seed / select_confident_pseudo_labels /
# _cluster_and_quota / select_diverse_prefilter(D) / select_diverse_prefilter_uncertainty(G) /
# run_iterative_diag はヒント3・本文参照（Day151-157の実装 + abs_margin診断を追加）

SEEDS = [0,1,2,3,4]; N_ROUNDS = 5; QUOTA_MODE = "confidence"
POPULATION_MEAN_MARGIN = 1.0  # 導出: (0*2+1*5+2*2)/9 = 1.0

configs = {"D_base": select_diverse_prefilter, "G_base": select_diverse_prefilter_uncertainty}
all_results = {name: pd.concat([run_iterative_diag(s, fn, n_rounds=N_ROUNDS, quota_mode=QUOTA_MODE).assign(seed=s) for s in SEEDS])
               for name, fn in configs.items()}

# round1->round2 (大標本の遷移) での pool_mean_margin_before
d_r1 = all_results["D_base"][all_results["D_base"]["round"]==1]["pool_mean_margin_before"].mean()
d_r2 = all_results["D_base"][all_results["D_base"]["round"]==2]["pool_mean_margin_before"].mean()
g_r1 = all_results["G_base"][all_results["G_base"]["round"]==1]["pool_mean_margin_before"].mean()
g_r2 = all_results["G_base"][all_results["G_base"]["round"]==2]["pool_mean_margin_before"].mean()

pooled = pd.concat([all_results["D_base"], all_results["G_base"]])
corr = np.corrcoef(pooled["pool_mean_margin_before"], pooled["round_pseudo_acc"])[0,1]

assert d_r2 < d_r1   # Dのプールは難化する
assert g_r2 > g_r1   # Gのプールは易化する
assert d_sel_r1 > POPULATION_MEAN_MARGIN  # Dは易しいサンプルを選ぶ
assert g_sel_r1 < POPULATION_MEAN_MARGIN  # Gは難しいサンプルを選ぶ
assert corr > 0.3
assert d_final_n < 20 and g_final_n < 20  # 最終ラウンドは少数サンプルで不安定
print("[OK] 6個のassertすべて成立")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
#  D_base  round  pool_n_before  pool_mean_margin_before  selected_mean_margin  round_pseudo_acc  test_acc
#       1        300.0                   0.9947                 1.1190            0.8674    0.6327
#       2        209.4                   0.9391                 0.9304            0.5519    0.5727
#       3         68.6                   0.9790                 1.0090            0.4188    0.5491
#       4         14.2                   0.8259                 0.8144            0.3449    0.5473
#       5          4.0                   0.9583                 0.9583            0.1528    0.5273
#
#  G_base  round  pool_n_before  pool_mean_margin_before  selected_mean_margin  round_pseudo_acc  test_acc
#       1        300.0                   0.9947                 0.8893            0.5906    0.6800
#       2        209.4                   1.0440                 1.0371            0.7018    0.6491
#       3         65.8                   1.0575                 1.0783            0.8040    0.6455
#       4          6.8                   0.9883                 0.9984            0.8032    0.6436
#       5          2.0                   0.5000                 0.5000            0.5000    0.5909
#
# [理論値との照合] round1(n=300)実測: mean=0.9947・frac_hard=0.2200・frac_easy=0.2147
#                 理論値(母集団)   : mean=1.0000・frac_hard=0.2222・frac_easy=0.2222  -> ほぼ一致
#
# [頑健な比較: round1(n=300) -> round2(n≈209)]
# D_base: pool_mean_margin_before  0.9947 -> 0.9391 (delta=-0.0556)  ← 易しいサンプルが先食いされ難化
# G_base: pool_mean_margin_before  0.9947 -> 1.0440 (delta=+0.0493)  ← 難しいサンプルが先食いされ易化
#
# [own-final-roundは不安定] 最終ラウンド開始時点の残プール件数(平均): D=4.4件, G=5.0件
# -> 5シードのpool_mean_margin_finalはD側[0.857,0.667,0.875,1.000,1.000]、G側[0.714,1.000,1.000,0.500,1.500]
#    と符号・大きさとも seed によってバラバラで、少数サンプルの平均値として信頼できない
#
# [相関] pool_mean_margin_before と round_pseudo_acc (D+G, n=44) = 0.4088
# [相関] selected_mean_margin と round_pseudo_acc (D+G, n=44) = 0.4873
#
# [OK] 6個のassertすべて成立

📊 結果の可視化

🪜 Step-by-Step 解説

1「最終ラウンドで比較する」という自然な発想を、標本サイズの確認で退けた

d_final_n = 4.4件, g_final_n = 5.0件  # round1(300件)の1.5%程度

2選択には使っていない指標(abs_margin)で、選択基準の"隠れた効果"を裏付ける

D_base: pool_mean_margin_before  0.9947 -> 0.9391 (round1->round2)
G_base: pool_mean_margin_before  0.9947 -> 1.0440 (round1->round2)

3相関係数が1に近づかないことも、立派な発見として扱う

corr(pool_mean_margin_before, round_pseudo_acc) = 0.4088   # 正の相関はあるが強くはない

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（半教師あり学習全般に応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: round1のモデルとround5のモデルで同じ固定サンプル集合に対する予測確信度がどう変化したかを比較すれば、決定境界の歪みを直接可視化できる。もしround1では"確信度低"だったサンプルがround5で"確信度高だが不正解"に変わっていれば、歪みの直接証拠になる
• 次回予告: Day159では、上記の「round1モデル vs round5モデルの予測の食い違い」を固定テストサンプル単位で追跡し、(D)のconfirmation biasが「新しい間違いを生む」のか「既存の間違いを確信度だけ強める」のかを切り分ける検証を行う予定

Phase 6 の学習マップ（NLP系コンペへの応用フェーズ継続中）

Day158は「round1が最適」という現象を、選択に使っていない独立な難易度指標で裏付けつつ、それだけでは説明しきれない残差(round5の異常な精度崩壊)も同時に見つけた回。次はこの残差を、モデルの予測そのものの変化を追跡することで直接検証する。

📝 自己評価（解いた後に記入）