Day 156 — NLP系コンペへの応用⑦ — クラスタのquota配分ルールを確信度非依存にすると、gapはどう変わるのか

📚 背景知識（読んでから問題へ）

(D)にとってこの旧ルールは「確信度優先」という自身の方針と一致し均質化を後押ししうる一方、(G)にとっては「クラスタ内は不確実性優先なのに枠配分は確信度優先」という方針の食い違いになっている。今日はこのquota配分ルールを確信度に一切依存しない均等配分に変え、Day155のgap拡大がこの副次的な設計選択にどれだけ依存していたのかを実測する。

🗂️ データ・分割のスキーマ

threshold    = 0.60  # 各ラウンドのn_addedを決める基準（Day151-155と同一）
n_clusters   = 8     # KMeansのクラスタ数（D_iter/G_iter・両quota_mode共通）
n_rounds     = 5     # 最大ラウンド数（採用0件になれば早期終了）
quota_mode   = "confidence" | "equal"  # ★Day156で追加した切替パラメータ

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def _cluster_and_quota(X_un, proba, n_target, n_clusters, seed, quota_mode="confidence"):
    n = X_un.shape[0]
    n_target = min(n_target, n)
    k = min(n_clusters, n)
    km = KMeans(n_clusters=k, random_state=seed, n_init=10)
    cluster_ids = km.fit_predict(X_un)
    confidence = np.abs(proba - 0.5)
    quota = n_target // k
    remainder = n_target - quota * k
    cluster_quota = {c: quota for c in range(k)}
    if quota_mode == "confidence":
        cluster_conf_rank = pd.Series(confidence, index=cluster_ids).groupby(level=0).mean().sort_values(ascending=False)
        for c in list(cluster_conf_rank.index)[:remainder]:
            cluster_quota[c] += 1
    elif quota_mode == "equal":
        for c in range(remainder):   # ★確信度を一切参照しない
            cluster_quota[c] += 1
    else:
        raise ValueError(quota_mode)
    return cluster_ids, cluster_quota, k, n_target, confidence

✅ 模範解答

# make_text_dataset / train_and_eval / split_seed / select_confident_pseudo_labels は
# Day151-155と同一（省略）

def _cluster_and_quota(X_un, proba, n_target, n_clusters, seed, quota_mode="confidence"):
    n = X_un.shape[0]; n_target = min(n_target, n); k = min(n_clusters, n)
    km = KMeans(n_clusters=k, random_state=seed, n_init=10)
    cluster_ids = km.fit_predict(X_un)
    confidence = np.abs(proba - 0.5)
    quota = n_target // k; remainder = n_target - quota * k
    cluster_quota = {c: quota for c in range(k)}
    if quota_mode == "confidence":
        rank = pd.Series(confidence, index=cluster_ids).groupby(level=0).mean().sort_values(ascending=False)
        for c in list(rank.index)[:remainder]: cluster_quota[c] += 1
    elif quota_mode == "equal":
        for c in range(remainder): cluster_quota[c] += 1   # 確信度非依存
    else: raise ValueError(quota_mode)
    return cluster_ids, cluster_quota, k, n_target, confidence

# select_diverse_prefilter(D)・select_diverse_prefilter_uncertainty(G) は
# quota_modeを_cluster_and_quotaへ素通しするだけ（Day155のコードに引数を1つ追加、省略）
# run_iterativeも同様にquota_modeを素通しする（省略）

SEEDS = [0, 1, 2, 3, 4]; N_ROUNDS = 5
results = {}
for quota_mode in ["confidence", "equal"]:
    all_d, all_g = [], []
    for s in SEEDS:
        df_d = run_iterative(s, select_diverse_prefilter, quota_mode, n_rounds=N_ROUNDS); df_d["seed"]=s; all_d.append(df_d)
        df_g = run_iterative(s, select_diverse_prefilter_uncertainty, quota_mode, n_rounds=N_ROUNDS); df_g["seed"]=s; all_g.append(df_g)
    results[quota_mode] = (pd.concat(all_d, ignore_index=True), pd.concat(all_g, ignore_index=True))

summary = {}
for quota_mode, (df_d_all, df_g_all) in results.items():
    mean_d_r1 = df_d_all[df_d_all["round"]==1]["test_acc"].mean()
    mean_g_r1 = df_g_all[df_g_all["round"]==1]["test_acc"].mean()
    rows_final = []
    for s in SEEDS:
        d_s, g_s = df_d_all[df_d_all["seed"]==s], df_g_all[df_g_all["seed"]==s]
        d_r1, g_r1 = d_s[d_s["round"]==1]["test_acc"].values[0], g_s[g_s["round"]==1]["test_acc"].values[0]
        d_last, g_last = d_s.iloc[-1], g_s.iloc[-1]
        rows_final.append({"seed": s, "gap_round1": g_r1-d_r1, "d_final_acc": d_last["test_acc"],
                            "g_final_acc": g_last["test_acc"], "gap_final": g_last["test_acc"]-d_last["test_acc"]})
    df_final = pd.DataFrame(rows_final)
    df_final["reversed"] = (df_final["gap_round1"]>0) != (df_final["gap_final"]>0)
    mean_d_final, mean_g_final = df_final["d_final_acc"].mean(), df_final["g_final_acc"].mean()

    assert mean_g_final > mean_d_final, f"[{quota_mode}] own-final-roundでG_iterがD_iterを上回っていません"
    assert mean_d_final < mean_d_r1, f"[{quota_mode}] D_iterがconfirmation biasで劣化していません"
    assert mean_g_final < mean_g_r1, f"[{quota_mode}] G_iterがconfirmation biasで劣化していません"

    summary[quota_mode] = {"gap_round1": df_final["gap_round1"].mean(), "gap_final": df_final["gap_final"].mean(),
                            "reversed": int(df_final["reversed"].sum())}
    print(f"[OK: {quota_mode}] own-final-roundでもG_iterの優位性は消えていない")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
# [quota_mode="confidence"（Day155と同一の再現実行）]
#  round  n_added(D)  round_pseudo_acc(D)  test_acc(D)  |  n_added(G)  round_pseudo_acc(G)  test_acc(G)
#      1        90.6              0.867442     0.632727 |      90.6               0.590581     0.680000
#      2       140.8              0.551895     0.572727 |     143.6               0.701816     0.649091
#      3        54.4              0.418792     0.549091 |      59.0               0.804038     0.645455
#      4        11.8              0.344933     0.547273 |       6.4               0.803175     0.643636
#      5         4.0              0.152778     0.527273 |       2.0               0.500000     0.590909
# gap_round1=+0.0473 / gap_final=+0.1000 / reversed=1/5(seed3) / expansion_ratio=2.114
#
# [quota_mode="equal"（Day156: 確信度非依存の均等配分）]
#  round  n_added(D)  round_pseudo_acc(D)  test_acc(D)  |  n_added(G)  round_pseudo_acc(G)  test_acc(G)
#      1        90.6              0.855373     0.621818 |      90.6               0.591109     0.656364
#      2       143.2              0.552967     0.572727 |     142.6               0.709357     0.643636
#      3        52.4              0.378164     0.549091 |      58.4               0.801146     0.636364
#      4        11.6              0.256731     0.547273 |       7.8               0.863333     0.638182
#      5         5.0              0.416667     0.531818 |       1.5               1.000000     0.672727  ← n_added=1.5件、ノイズ大
# gap_round1=+0.0345 / gap_final=+0.0909 / reversed=1/5(seed3) / expansion_ratio=2.635
#
# [quota_modeどうしの比較]
# gap_round1: confidence +0.0473 -> equal +0.0345（-0.0127pt）
# gap_final : confidence +0.1000 -> equal +0.0909（-0.0091pt）
# 拡大率(expansion_ratio): confidence 2.11倍 -> equal 2.63倍（拡大率としてはequalの方が大きい）
# reversed件数: 両quota_modeともseed3のみ 1/5 で一致
# mean_d: confidence 0.6327->0.5455(-13.8%) / equal 0.6218->0.5473(-12.0%)
# mean_g: confidence 0.6800->0.6455(-5.1%)  / equal 0.6564->0.6382(-2.8%)
#
# [OK: confidence] own-final-roundでもG_iterの優位性は消えていない
# [OK: equal]      own-final-roundでもG_iterの優位性は消えていない

📊 結果の可視化

🪜 Step-by-Step 解説

1「影響は小さいはず」という見積もりが、実測でほぼそのまま裏付けられた

remainder上限        = n_clusters - 1 = 7件
round1〜2のn_target   = 90〜144件
理論上の最大影響割合  = 7 / 90 ≈ 7.8%（最も影響が大きいラウンドでも1割未満）

gap_round1: confidence +0.0473 -> equal +0.0345   (差 -0.0127pt)
gap_final : confidence +0.1000 -> equal +0.0909   (差 -0.0091pt)

2絶対値では縮んだのに、拡大率では逆に大きくなった理由

gap_round1(confidence) = 0.0473, gap_final(confidence) = 0.1000  -> 拡大率 2.114倍
gap_round1(equal)      = 0.0345, gap_final(equal)      = 0.0909  -> 拡大率 2.635倍
拡大幅(gap_final - gap_round1): confidence = +0.0527pt, equal = +0.0564pt（拡大幅自体はequalの方がわずかに大きい）

3round5のpseudo_acc=1.000を鵜呑みにしないための確認手順

equalモード round5: G_iter round_pseudo_acc = 1.000, n_added(平均) = 1.5件
equalモード round4: G_iter round_pseudo_acc = 0.863, n_added(平均) = 7.8件

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（半教師あり学習全般に応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日はn_clusters=8を固定していたが、n_clusters自体を4や16に変えるとremainderの絶対上限(n_clusters-1)自体が変わるため、quota配分ルールの影響力がより大きく出る可能性がある(n_clustersが大きいほどremainderの上限も大きくなる)
• 次回予告: Day157では、Day155で発見した(D)の「採用件数急増×正解率急落」という悪循環の早期警告シグナル(round-local疑似ラベル精度や採用件数の急変)を使い、(D)側にラウンドの早期打ち切りルール(early stopping)を導入した場合、(D)の劣化がどこまで緩和できるか、その結果G_iterとのgapがどう変わるかを検証する

Phase 6 の学習マップ（NLP系コンペへの応用フェーズ継続中）

Day156は「結果を動かしそうな別の設計選択を変えてみたが、実は主結論を覆すほどの影響力はなかった」ことを、事前の上限計算と実測の両方で裏付けたロバストネス確認の回。次回はいよいよ(D)側への介入(early stopping)で、劣化そのものを緩和できるかを検証する。

📝 自己評価（解いた後に記入）