Day 151 — NLP系コンペへの応用② — テキスト分類にPseudo Labelingは本当に効くのか

📚 背景知識（読んでから問題へ）

Pseudo Labelingの基本アイデアは「少量のラベル付きデータでモデルを学習し、そのモデルでラベルなしデータを予測し、確信度が高い予測だけを疑似ラベルとして学習データに追加して再学習する」という半教師あり学習の手法である。Day136-137では表形式データで確信度閾値を適切に設定すれば精度改善につながることを確認済みである。

🗂️ データ・分割のスキーマ

STANDARD_THRESHOLD   = 0.90  # Day136-137(表形式データ)の定番閾値をそのまま流用
MODERATE_THRESHOLD   = 0.60  # 実測したproba分布(0.22〜0.72程度)に合わせて調整
PERMISSIVE_THRESHOLD = 0.55  # ほぼ無選別に近い、意図的に緩すぎる閾値

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def select_confident_pseudo_labels(model, vectorizer, unlabeled_df, threshold):
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    mask = (proba >= threshold) | (proba <= (1 - threshold))
    pseudo_labels = (proba[mask] >= 0.5).astype(int)
    return mask, pseudo_labels

def run_selection_bias_ablation(seed, threshold=0.60):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    acc_base, ll_base, vectorizer, model = train_and_eval(
        labeled_df["text"].tolist(), labeled_df["label"].tolist(), test_df)

    mask, pseudo_labels = select_confident_pseudo_labels(model, vectorizer, unlabeled_df, threshold)
    true_labels_selected = unlabeled_df.loc[mask, "label"].to_numpy()

    # (A) 疑似ラベル自己学習 / (B) オラクル(同じ選択+正解ラベル) / (C) ランダム(同数+正解ラベル)
    # ... train_and_eval を3パターン呼び出して比較する ...

✅ 模範解答

import random
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, log_loss

# POSITIVE_WORDS / NEGATIVE_WORDS / NEUTRAL_WORDS / make_text_dataset は Day150と同一（省略）

def train_and_eval(texts, labels, test_df):
    vectorizer = TfidfVectorizer()
    X = vectorizer.fit_transform(texts)
    model = LogisticRegression(max_iter=1000)
    model.fit(X, labels)
    X_test = vectorizer.transform(test_df["text"])
    proba = model.predict_proba(X_test)[:, 1]
    acc = accuracy_score(test_df["label"], (proba >= 0.5).astype(int))
    ll = log_loss(test_df["label"], proba, labels=[0, 1])
    return acc, ll, vectorizer, model


def select_confident_pseudo_labels(model, vectorizer, unlabeled_df, threshold):
    X_un = vectorizer.transform(unlabeled_df["text"])
    proba = model.predict_proba(X_un)[:, 1]
    mask = (proba >= threshold) | (proba <= (1 - threshold))
    pseudo_labels = (proba[mask] >= 0.5).astype(int)
    return mask, pseudo_labels


def split_seed(seed):
    df = make_text_dataset(n=450, seed=seed)
    rest_df, test_df = train_test_split(df, test_size=110, random_state=seed, stratify=df["label"])
    labeled_df, unlabeled_df = train_test_split(rest_df, train_size=40, random_state=seed, stratify=rest_df["label"])
    return labeled_df.reset_index(drop=True), unlabeled_df.reset_index(drop=True), test_df.reset_index(drop=True)


def run_threshold_sweep(seed, threshold):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    acc_base, ll_base, vectorizer, model = train_and_eval(
        labeled_df["text"].tolist(), labeled_df["label"].tolist(), test_df)

    mask, pseudo_labels = select_confident_pseudo_labels(model, vectorizer, unlabeled_df, threshold)
    n_added = int(mask.sum())
    if n_added == 0:
        acc_st, ll_st, pseudo_acc = acc_base, ll_base, float("nan")
    else:
        true_labels = unlabeled_df.loc[mask, "label"].to_numpy()
        pseudo_acc = float((pseudo_labels == true_labels).mean())
        texts_st = labeled_df["text"].tolist() + unlabeled_df.loc[mask, "text"].tolist()
        labels_st = labeled_df["label"].tolist() + pseudo_labels.tolist()
        acc_st, ll_st, _, _ = train_and_eval(texts_st, labels_st, test_df)

    return {"seed": seed, "n_added": n_added, "pseudo_acc": pseudo_acc,
            "acc_base": acc_base, "acc_st": acc_st, "ll_base": ll_base, "ll_st": ll_st}


def run_selection_bias_ablation(seed, threshold=0.60):
    labeled_df, unlabeled_df, test_df = split_seed(seed)
    acc_base, ll_base, vectorizer, model = train_and_eval(
        labeled_df["text"].tolist(), labeled_df["label"].tolist(), test_df)

    mask, pseudo_labels = select_confident_pseudo_labels(model, vectorizer, unlabeled_df, threshold)
    n_added = int(mask.sum())
    true_labels_selected = unlabeled_df.loc[mask, "label"].to_numpy()

    # (A) 疑似ラベル自己学習: 高確信度サブセット + モデル自身の予測ラベル
    acc_pseudo, ll_pseudo, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask, "text"].tolist(),
        labeled_df["label"].tolist() + pseudo_labels.tolist(), test_df)

    # (B) オラクル: 同じ高確信度サブセット + 正解ラベル（ラベルノイズだけを除去）
    acc_oracle, ll_oracle, _, _ = train_and_eval(
        labeled_df["text"].tolist() + unlabeled_df.loc[mask, "text"].tolist(),
        labeled_df["label"].tolist() + true_labels_selected.tolist(), test_df)

    # (C) ランダム: 同じ件数をランダム選択 + 正解ラベル（選択バイアスだけを除去）
    rng = np.random.RandomState(seed)
    rand_idx = rng.choice(len(unlabeled_df), size=n_added, replace=False)
    rand_texts = unlabeled_df.iloc[rand_idx]["text"].tolist()
    rand_labels = unlabeled_df.iloc[rand_idx]["label"].tolist()
    acc_random, ll_random, _, _ = train_and_eval(
        labeled_df["text"].tolist() + rand_texts,
        labeled_df["label"].tolist() + rand_labels, test_df)

    return {"seed": seed, "n_added": n_added, "acc_base": acc_base,
            "acc_pseudo": acc_pseudo, "acc_oracle": acc_oracle, "acc_random": acc_random}


SEEDS = [0, 1, 2, 3, 4]
df_std = pd.DataFrame([run_threshold_sweep(s, 0.90) for s in SEEDS])
df_mod = pd.DataFrame([run_threshold_sweep(s, 0.60) for s in SEEDS])
df_perm = pd.DataFrame([run_threshold_sweep(s, 0.55) for s in SEEDS])
df_ablation = pd.DataFrame([run_selection_bias_ablation(s, 0.60) for s in SEEDS])

assert (df_std["n_added"] == 0).all(), "STANDARD閾値0.90で疑似ラベルが1件も追加されない、という実測結果が再現しませんでした"
assert df_mod["acc_st"].mean() < df_std["acc_base"].mean(), "MODERATE閾値の自己学習がbaselineを悪化させていません"
assert df_perm["acc_st"].mean() < df_std["acc_base"].mean(), "PERMISSIVE閾値の自己学習がbaselineを悪化させていません"
assert df_ablation["acc_random"].mean() > df_ablation["acc_oracle"].mean() + 0.05, \
    "ランダム選択(正解ラベル)がオラクルを明確に上回っていません"
print("[OK] STANDARDは空振り／MODERATE・PERMISSIVEはbaselineを悪化／悪化の主因は選択バイアス")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
# ---- Part 1: 閾値スイープ ----
# STANDARD threshold=0.90: 5シード全てで n_added=0（疑似ラベル追加ゼロ、完全に空振り）
# MODERATE threshold=0.60: mean n_added≈91件 mean pseudo_acc=0.8995
#   mean acc_base=0.7418 → mean acc_st=0.6236（悪化）
# PERMISSIVE threshold=0.55: mean n_added≈182件 mean pseudo_acc=0.8122
#   mean acc_base=0.7418 → mean acc_st=0.6527（悪化、だがMODERATEより悪化幅は小さい）
#
# ---- Part 2: 選択バイアス vs ラベルノイズのアブレーション（閾値0.60）----
#   mean acc_base  = 0.7418
#   (A) 疑似ラベル自己学習           mean acc = 0.6236
#   (B) オラクル(同じ選択+正解ラベル) mean acc = 0.7291  ← baselineとほぼ同水準
#   (C) ランダム(同数+正解ラベル)     mean acc = 0.8818  ← 大きく改善
#
# [OK] STANDARDは空振り／MODERATE・PERMISSIVEはbaselineを悪化／悪化の主因は選択バイアス

📊 結果の可視化

🪜 Step-by-Step 解説

1なぜ「定番の閾値0.90」がテキスト分類では機能しないのか

mask = (proba >= threshold) | (proba <= (1 - threshold))
# threshold=0.90 のとき、5シード全てで mask.sum() == 0

2なぜ疑似ラベル精度が90%近くても自己学習は悪化するのか

acc_pseudo = 0.6236   # モデル自身の疑似ラベルを使用
acc_oracle = 0.7291   # 同じサブセット + 正解ラベル
acc_random = 0.8818   # 同数のランダムサブセット + 正解ラベル

3なぜPERMISSIVE閾値(0.55)がMODERATE閾値(0.60)より"マシ"だったのか

# MODERATE(0.60): mean n_added≈91件, mean pseudo_acc=0.8995, mean acc_st=0.6236
# PERMISSIVE(0.55): mean n_added≈182件, mean pseudo_acc=0.8122, mean acc_st=0.6527

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（半教師あり学習全般に応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日は確信度上位を選ぶ1回だけの自己学習(1ラウンド)を検証したが、複数ラウンドにわたって反復的に自己学習を繰り返すと、モデルが自身の予測に対してますます自信を深め、選択バイアスがラウンドを追うごとに強化される「確証バイアスの雪だるま現象」が起こりうる。予備検証では複数ラウンドの反復自己学習で最終的に未ラベルデータのほぼ全件が学習データに取り込まれ、精度がさらに悪化する傾向が観測された。この「ラウンド数と悪化の関係」を正式に検証することが次の発展候補である
• 次回予告: 引き続きPhase6の「NLP系コンペへの応用」を深掘りし、次回はback-translationのような文単位のTTA(Day150で保留)、または今日発見した「選択バイアス」を緩和するdiversity-awareな疑似ラベル選択(クラスタリングベースの多様性確保)をテキスト分類に実装して検証することを検討する

Phase 6 の学習マップ（NLP系コンペへの応用フェーズ継続中）

Day150に続き、Day151も「表形式・画像で効いた手法をそのままテキストに持ち込むと機能不全になる」というパターンが実測で再現された。TTAは情報の中身が壊れ、Pseudo Labelingは情報の選び方が壊れる、という異なるメカニズムで同じ結論に至った。

📝 自己評価（解いた後に記入）