Day 152 — NLP系コンペへの応用③ — 選択バイアスを緩和するdiversity-aware疑似ラベル選択は本当に効くのか

📚 背景知識（読んでから問題へ）

今日はDay151の次回予告で挙がっていた対策候補の1つ、diversity-aware pseudo labeling（多様性を意識した疑似ラベル選択）を実装する。アイデアは、確信度が高い予測の中から闇雲に上位N件を取るのではなく、まずTF-IDFベクトルをKMeansでクラスタに分け、各クラスタに均等な割当数(quota)を与えたうえでクラスタ内の確信度上位から選ぶことで、「モデルにとって判断しやすい似た文ばかり」を選ぶ偏りを緩和しよう、というものである。

🗂️ データ・分割のスキーマ

threshold           = 0.60  # Day151と同一。件数n_addedを決めるための基準
candidate_threshold = 0.55  # top-N・diversity両方が選ぶ「同じ候補プール」を作る閾値
n_clusters          = 8     # KMeansのクラスタ数

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def select_topn_from_pool(model, vectorizer, unlabeled_df, candidate_threshold, n_target):
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    cand_idx = np.where((proba >= candidate_threshold) | (proba <= (1 - candidate_threshold)))[0]
    confidence = np.abs(proba[cand_idx] - 0.5)
    order = np.argsort(-confidence)
    n_target = min(n_target, len(cand_idx))
    top_idx = np.sort(cand_idx[order[:n_target]])  # 昇順に戻す
    mask = np.zeros(len(unlabeled_df), dtype=bool)
    mask[top_idx] = True
    pseudo_labels = (proba[mask] >= 0.5).astype(int)  # mask経由で取得し順序を一致させる
    return mask, pseudo_labels

def select_diverse_pseudo_labels(model, vectorizer, unlabeled_df, candidate_threshold, n_target, n_clusters, seed):
    # ... cand_idxを作り、X_un[cand_idx]をKMeans(n_clusters, random_state=seed)でクラスタリング
    # ... クラスタごとにquotaを割当て、クラスタ内は確信度が高い順に選ぶ
    # ... 最後に選んだインデックスをnp.sort()で昇順に戻してからmaskを作る
    ...

✅ 模範解答

import random
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, log_loss
from sklearn.cluster import KMeans

# POSITIVE_WORDS / NEGATIVE_WORDS / NEUTRAL_WORDS / make_text_dataset / train_and_eval /
# split_seed / select_confident_pseudo_labels は Day151と同一（省略）

def select_topn_from_pool(model, vectorizer, unlabeled_df, candidate_threshold, n_target):
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    cand_idx = np.where((proba >= candidate_threshold) | (proba <= (1 - candidate_threshold)))[0]
    confidence = np.abs(proba[cand_idx] - 0.5)
    order = np.argsort(-confidence)
    n_target = min(n_target, len(cand_idx))
    top_idx = np.sort(cand_idx[order[:n_target]])
    mask = np.zeros(len(unlabeled_df), dtype=bool)
    mask[top_idx] = True
    pseudo_labels = (proba[mask] >= 0.5).astype(int)
    return mask, pseudo_labels


def select_diverse_pseudo_labels(model, vectorizer, unlabeled_df, candidate_threshold, n_target, n_clusters, seed):
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    cand_idx = np.where((proba >= candidate_threshold) | (proba <= (1 - candidate_threshold)))[0]
    if len(cand_idx) == 0:
        return np.zeros(len(unlabeled_df), dtype=bool), np.array([], dtype=int)
    n_target = min(n_target, len(cand_idx))

    X_cand = X_un[cand_idx]
    k = min(n_clusters, len(cand_idx))
    km = KMeans(n_clusters=k, random_state=seed, n_init=10)
    cluster_ids = km.fit_predict(X_cand)

    confidence = np.abs(proba[cand_idx] - 0.5)
    order = np.argsort(-confidence)
    quota = n_target // k
    remainder = n_target - quota * k
    cluster_quota = {c: quota for c in range(k)}
    cluster_conf_rank = pd.Series(confidence, index=cluster_ids).groupby(level=0).mean().sort_values(ascending=False)
    for c in list(cluster_conf_rank.index)[:remainder]:
        cluster_quota[c] += 1

    taken = {c: 0 for c in range(k)}
    selected_local = []
    for i in order:
        c = cluster_ids[i]
        if taken[c] < cluster_quota[c]:
            selected_local.append(i)
            taken[c] += 1
        if len(selected_local) >= n_target:
            break

    selected_global_idx = np.sort(cand_idx[selected_local])
    mask = np.zeros(len(unlabeled_df), dtype=bool)
    mask[selected_global_idx] = True
    pseudo_labels = (proba[mask] >= 0.5).astype(int)
    return mask, pseudo_labels


def run_comparison(seed, threshold=0.60, candidate_threshold=0.55, n_clusters=8):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    acc_base, ll_base, vectorizer, model = train_and_eval(
        labeled_df["text"].tolist(), labeled_df["label"].tolist(), test_df)

    # (A) Day151のプレーン確信度選択(threshold=0.60)そのもの
    mask_conf, pseudo_conf = select_confident_pseudo_labels(model, vectorizer, unlabeled_df, threshold)
    n_added = int(mask_conf.sum())
    acc_conf, ll_conf, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask_conf, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_conf.tolist(), test_df)

    # (B) 同じ候補プール(0.55)からtop-Nを確信度だけで選ぶ
    mask_topn, pseudo_topn = select_topn_from_pool(model, vectorizer, unlabeled_df, candidate_threshold, n_added)
    acc_topn, ll_topn, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask_topn, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_topn.tolist(), test_df)

    # (C) 同じ候補プール(0.55)・同じ件数(n_added)からdiversity-awareで選ぶ
    mask_div, pseudo_div = select_diverse_pseudo_labels(
        model, vectorizer, unlabeled_df, candidate_threshold, n_added, n_clusters, seed)
    acc_div, ll_div, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask_div, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_div.tolist(), test_df)

    return {"seed": seed, "n_added": n_added, "acc_base": acc_base,
            "acc_conf": acc_conf, "acc_topn": acc_topn, "acc_div": acc_div}


SEEDS = [0, 1, 2, 3, 4]
df = pd.DataFrame([run_comparison(s) for s in SEEDS])

mean_acc_base = df["acc_base"].mean()
mean_acc_topn = df["acc_topn"].mean()
mean_acc_div = df["acc_div"].mean()

assert mean_acc_topn < mean_acc_base, "同一プールtop-N選択がbaselineを悪化させていません"
assert mean_acc_div < mean_acc_base, "diversity-aware選択がbaselineを悪化させていません"
assert abs(mean_acc_topn - mean_acc_div) < 0.05, \
    "top-N選択とdiversity-aware選択のtest精度差が0.05以上あります"
print("[OK] 同一プール条件ではdiversity-aware選択が明確に優位とは言えない")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
#  seed  n_added  acc_base  acc_conf  acc_topn  acc_div  pseudo_acc_conf  pseudo_acc_topn  pseudo_acc_div
#     0       94  0.763636  0.581818  0.581818 0.590909         0.946809         0.946809        0.893617
#     1      125  0.727273  0.590909  0.590909 0.618182         0.888000         0.888000        0.856000
#     2       81  0.781818  0.645455  0.645455 0.645455         0.938272         0.938272        0.962963
#     3       75  0.736364  0.672727  0.672727 0.663636         0.840000         0.840000        0.813333
#     4       78  0.700000  0.627273  0.627273 0.627273         0.884615         0.884615        0.871795
#
# [まとめ]
#   mean acc_base            = 0.7418
#   mean acc_conf(0.60固定, Day151と同一)  = 0.6236  (pseudo_acc=0.8995)
#   mean acc_topn(同一プール0.55, top-N)   = 0.6236  (pseudo_acc=0.8995)  ※acc_confと完全一致(sanity check成立)
#   mean acc_div (同一プール0.55, diversity)= 0.6291  (pseudo_acc=0.8795)
#   |acc_topn - acc_div| = 0.0055（0.05未満）
#
# [OK] 同一プール条件ではdiversity-aware選択が明確に優位とは言えない

📊 結果の可視化

🪜 Step-by-Step 解説

1なぜacc_confとacc_topnが完全一致することが「正しさの検証」になるのか

# mean acc_conf(0.60固定)              = 0.6236
# mean acc_topn(同一プール0.55, top-N) = 0.6236  # 完全一致

2なぜfancy indexingの順序とboolean maskの順序のズレが危険なのか

# 危険な書き方（初期バージョンで実際に踏んだバグ）:
top_idx = cand_idx[order[:n_target]]                  # 確信度でソートされた順
pseudo_labels = (proba[top_idx] >= 0.5).astype(int)  # top_idxの順(確信度順)
# 一方 unlabeled_df.loc[mask, "text"] は元の行順(昇順)で返す → 順序が一致しない！

# 安全な書き方（修正後）:
top_idx = np.sort(cand_idx[order[:n_target]])      # 昇順に戻す
mask = np.zeros(len(unlabeled_df), dtype=bool)
mask[top_idx] = True
pseudo_labels = (proba[mask] >= 0.5).astype(int)    # mask経由で取得 → 昇順で一致

3なぜdiversity-aware選択はDay151のランダム選択に及ばなかったのか

mean_acc_div    = 0.6291  # 候補プール内クラスタリング
mean_acc_random = 0.8818  # Day151: 未ラベルデータ全体からのランダム選択（参考値）

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（半教師あり学習全般に応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日の考察を踏まえると、真に選択バイアスを緩和する設計は「確信度フィルタを適用する前の未ラベルデータ全体」に対してクラスタリングを行い、各クラスタから確信度に関係なく一定数を選ぶ(クラスタ代表点＋確信度は補助情報として使う)方式である可能性が高い。この「フィルタ前 vs フィルタ後」のクラスタリング順序の違いが実際に結果を変えるかを検証することが次の発展候補である
• 次回予告: 引き続きPhase6の「NLP系コンペへの応用」を深掘りし、次回はDay150で保留したback-translationのような文単位のTTA、または「フィルタ前クラスタリング」による多様性確保の再検証を検討する

Phase 6 の学習マップ（NLP系コンペへの応用フェーズ継続中）

Day150→151→152と、「表形式・画像で効いた手法・素朴な対策をそのままテキストに持ち込むと期待通りには機能しない」というパターンが3日連続で実測された。今日は対策そのもの(diversity-aware選択)まで検証範囲に含め、その対策自身も母集団の選び方次第で効果が限定的になることが分かった。

📝 自己評価（解いた後に記入）