Day 154 — NLP系コンペへの応用⑤ — クラスタ内選択基準を変えれば、3日間効かなかった対策はついに改善するのか

📚 背景知識（読んでから問題へ）

今日はDay153の「発展」候補どおり、クラスタリング対象(全体か候補プールか)ではなく、クラスタ内の選択基準そのものを変更する。(F)クラスタ内ランダム選択と(G)クラスタ内Uncertainty Sampling(確信度が0.5に近い順)の2方式を新たに実装し、Day153のpre-filter方式(D)・同数ランダム選択+自己ラベル(E)と比較する。

🗂️ データ・分割のスキーマ

threshold   = 0.60  # n_addedを決める基準（Day151-153と同一）
n_clusters  = 8     # KMeansのクラスタ数（D/F/G共通）
# 今日変えるのは「クラスタリング対象」ではなく「クラスタ内の選択順序」だけ

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def select_diverse_prefilter_uncertainty(model, vectorizer, unlabeled_df, n_target, n_clusters, seed):
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    n = len(unlabeled_df)
    n_target = min(n_target, n)

    k = min(n_clusters, n)
    km = KMeans(n_clusters=k, random_state=seed, n_init=10)
    cluster_ids = km.fit_predict(X_un)

    confidence = np.abs(proba - 0.5)
    order = np.argsort(confidence)  # ★確信度が低い(0.5に近い)順に並べる（Day153は-confidenceで降順だった）
    quota = n_target // k
    remainder = n_target - quota * k
    cluster_quota = {c: quota for c in range(k)}
    # ... quota配分・クラスタ内選択のループはDay153と同じ ...

    selected_idx = np.sort(np.array(selected, dtype=int))
    mask = np.zeros(n, dtype=bool)
    mask[selected_idx] = True
    pseudo_labels = (proba[mask] >= 0.5).astype(int)  # mask経由で取得
    return mask, pseudo_labels

✅ 模範解答

# POSITIVE_WORDS / NEGATIVE_WORDS / NEUTRAL_WORDS / make_text_dataset / train_and_eval /
# split_seed / select_confident_pseudo_labels / select_diverse_prefilter は
# Day151-153と同一（省略）

def _cluster_and_quota(X_un, proba, n_target, n_clusters, seed):
    """3方式(D/F/G)が共有するクラスタリング＋quota配分ロジック"""
    n = X_un.shape[0]
    n_target = min(n_target, n)
    k = min(n_clusters, n)
    km = KMeans(n_clusters=k, random_state=seed, n_init=10)
    cluster_ids = km.fit_predict(X_un)
    confidence = np.abs(proba - 0.5)
    quota = n_target // k
    remainder = n_target - quota * k
    cluster_quota = {c: quota for c in range(k)}
    cluster_conf_rank = pd.Series(confidence, index=cluster_ids).groupby(level=0).mean().sort_values(ascending=False)
    for c in list(cluster_conf_rank.index)[:remainder]:
        cluster_quota[c] += 1
    return cluster_ids, cluster_quota, k, n_target, confidence


def select_diverse_prefilter_random(model, vectorizer, unlabeled_df, n_target, n_clusters, seed):
    """Day154 (F): pre-filter clustering + クラスタ内はランダムに選ぶ"""
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    n = len(unlabeled_df)
    cluster_ids, cluster_quota, k, n_target, confidence = _cluster_and_quota(X_un, proba, n_target, n_clusters, seed)
    rng = np.random.RandomState(seed)
    order = rng.permutation(n)  # ★クラスタ内選択順をランダムにする
    taken = {c: 0 for c in range(k)}
    selected = []
    for i in order:
        c = cluster_ids[i]
        if taken[c] < cluster_quota[c]:
            selected.append(i)
            taken[c] += 1
        if len(selected) >= n_target:
            break
    selected_idx = np.sort(np.array(selected, dtype=int))
    mask = np.zeros(n, dtype=bool)
    mask[selected_idx] = True
    pseudo_labels = (proba[mask] >= 0.5).astype(int)
    return mask, pseudo_labels


def select_diverse_prefilter_uncertainty(model, vectorizer, unlabeled_df, n_target, n_clusters, seed):
    """Day154 (G): pre-filter clustering + クラスタ内はUncertainty Sampling（確信度が0.5に近い順）"""
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    n = len(unlabeled_df)
    cluster_ids, cluster_quota, k, n_target, confidence = _cluster_and_quota(X_un, proba, n_target, n_clusters, seed)
    order = np.argsort(confidence)  # ★確信度が低い(0.5に近い)順 = 不確実性が高い順
    taken = {c: 0 for c in range(k)}
    selected = []
    for i in order:
        c = cluster_ids[i]
        if taken[c] < cluster_quota[c]:
            selected.append(i)
            taken[c] += 1
        if len(selected) >= n_target:
            break
    selected_idx = np.sort(np.array(selected, dtype=int))
    mask = np.zeros(n, dtype=bool)
    mask[selected_idx] = True
    pseudo_labels = (proba[mask] >= 0.5).astype(int)
    return mask, pseudo_labels


def run_comparison(seed, threshold=0.60, n_clusters=8):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    acc_base, _, vectorizer, model = train_and_eval(
        labeled_df["text"].tolist(), labeled_df["label"].tolist(), test_df)

    mask_conf, pseudo_conf = select_confident_pseudo_labels(model, vectorizer, unlabeled_df, threshold)
    n_added = int(mask_conf.sum())
    acc_conf, _, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask_conf, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_conf.tolist(), test_df)

    # (D) Day153: pre-filter diversity（クラスタ内は確信度優先）
    mask_pre, pseudo_pre = select_diverse_prefilter(model, vectorizer, unlabeled_df, n_added, n_clusters, seed)
    acc_pre, _, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask_pre, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_pre.tolist(), test_df)

    # (F) Day154: クラスタ内ランダム選択
    mask_f, pseudo_f = select_diverse_prefilter_random(model, vectorizer, unlabeled_df, n_added, n_clusters, seed)
    acc_f, _, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask_f, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_f.tolist(), test_df)

    # (G) Day154: クラスタ内Uncertainty Sampling
    mask_g, pseudo_g = select_diverse_prefilter_uncertainty(model, vectorizer, unlabeled_df, n_added, n_clusters, seed)
    acc_g, _, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask_g, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_g.tolist(), test_df)

    # 追加診断: overlap
    overlap_df = int((mask_pre & mask_f).sum())
    overlap_dg = int((mask_pre & mask_g).sum())

    return {"seed": seed, "acc_base": acc_base, "acc_conf": acc_conf,
            "acc_pre": acc_pre, "acc_f": acc_f, "acc_g": acc_g,
            "overlap_df_frac": overlap_df / n_added, "overlap_dg_frac": overlap_dg / n_added}


SEEDS = [0, 1, 2, 3, 4]
df = pd.DataFrame([run_comparison(s) for s in SEEDS])

mean_acc_pre = df["acc_pre"].mean()
mean_acc_g = df["acc_g"].mean()

assert mean_acc_g > mean_acc_pre, "(G)が(D)のtest精度を上回っていません"
print("[OK] クラスタ内Uncertainty Samplingはpre-filter(確信度優先)より高いtest精度を示した")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
#  seed  n_added  acc_base  acc_conf  acc_pre  acc_rand    acc_f    acc_g  pseudo_acc_pre  pseudo_acc_rand  pseudo_acc_f  pseudo_acc_g  overlap_df_frac  overlap_dg_frac
#     0       94  0.763636  0.581818 0.600000  0.709091 0.736364 0.663636        0.882979         0.723404      0.723404      0.585106         0.340426         0.000000
#     1      125  0.727273  0.590909 0.618182  0.600000 0.590909 0.636364        0.856000         0.672000      0.688000      0.584000         0.416000         0.000000
#     2       81  0.781818  0.645455 0.654545  0.700000 0.700000 0.745455        0.925926         0.740741      0.728395      0.567901         0.283951         0.000000
#     3       75  0.736364  0.672727 0.681818  0.690909 0.663636 0.618182        0.813333         0.760000      0.733333      0.613333         0.240000         0.000000
#     4       78  0.700000  0.627273 0.609091  0.700000 0.672727 0.736364        0.858974         0.717949      0.692308      0.602564         0.256410         0.000000
#
# [まとめ]
#   mean acc_base = 0.7418
#   mean acc_pre  (D: Day153 pre-filter, 確信度優先)  = 0.6327  (pseudo_acc=0.8674)
#   mean acc_rand (E: 同数ランダム+自己ラベル)         = 0.6800  (pseudo_acc=0.7228)
#   mean acc_f    (F: クラスタ内ランダム選択)         = 0.6727  (pseudo_acc=0.7131)
#   mean acc_g    (G: クラスタ内Uncertainty Sampling) = 0.6800  (pseudo_acc=0.5906)
#   acc_f - acc_pre = +0.0400   acc_g - acc_pre = +0.0473   acc_g - acc_rand = 0.0000（完全一致）
#   mean overlap_df_frac(DとF) = 0.3074
#   mean overlap_dg_frac(DとG) = 0.0000（5シード全てで重なりゼロ）
#
# [OK] クラスタ内Uncertainty Samplingはpre-filter(確信度優先)より高いtest精度を示した

📊 結果の可視化

🪜 Step-by-Step 解説

1overlapの違いが「ランダム」と「Uncertainty Sampling」の性質の差を説明する

mean overlap_df_frac = 0.3074   # (D)確信度優先と(F)ランダムの重なり: 偶然30.7%は一致する
mean overlap_dg_frac = 0.0000   # (D)確信度優先と(G)Uncertaintyの重なり: 5シード全てで完全にゼロ
mean_conf: pre=0.1379  F=0.0707  G=0.0229   # 確信度優先から離れるほど単調に低下

2pseudo_accが史上最低なのにtest accが史上最高タイという逆転の意味

pseudo_acc_g = 0.5906   # (G)の疑似ラベル正確さ（ほぼコイントスに近い、全手法中最低）
acc_g        = 0.6800   # (G)のtest精度（(E)と並び全手法中最高）

34日間の実験（Day151〜154）が最終的にたどり着いた設計指針

Day151: オラクルでも確信度ベースの選択バイアスは緩和されない
Day152: post-filterクラスタリング（対象を広げるだけ）でも緩和されない
Day153: pre-filterクラスタリング（対象を全体に広げるだけ）でも緩和されない
        → 原因診断: クラスタ内選択基準(確信度優先)が効果を打ち消していた
Day154: クラスタ内選択基準をランダム/Uncertaintyに変更 → 初めて明確な改善(+0.04〜+0.047)
        → (G)は(E)単純ランダム選択と同水準まで到達

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（半教師あり学習全般に応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日の(F)(G)はいずれもクラスタのquota配分自体は「平均確信度が高いクラスタから余りを+1」というDay152由来のルールのままだった。この配分ルール自体も確信度非依存(均等配分・クラスタサイズ比例)に変えた場合、さらに改善するのか、あるいは今日の改善分が失われるのかは未検証
• 次回予告: Day155では、Day154で発見した「クラスタ内Uncertainty Sampling」の効果が、疑似ラベルの反復適用（複数ラウンドにわたって自己学習を繰り返すIterative Pseudo Labeling、Day137の枠組み）と組み合わせた場合にも安定して持続するか、それとも初回ラウンドだけの効果なのかを検証する

Phase 6 の学習マップ（NLP系コンペへの応用フェーズ継続中）

Day151→154の4日間は、1つの原因(選択バイアス)に対して複数の対策(オラクル比較・post-filter・pre-filter・クラスタ内基準変更)を順番に試し、診断指標で失敗理由を特定しながら最終的に改善へたどり着いた一連のシリーズとして、Phase6のケーススタディに位置づけられる。

📝 自己評価（解いた後に記入）