Day 161 — NLP系コンペへの応用⑫ — ラベルを40→400件に増やしても、疑似ラベルは「疑似ラベルなし」に勝たなかった（害が消えるだけだった）

📚 背景知識（読んでから問題へ）

Day160では、ラベル付き40件・未ラベル300件で、疑似ラベルなし（r=0, test 0.7418）がD・Gのどのラウンドより上だった。本文には「ラベルなしデータが桁違いに多い…といった前提では、r>0が勝つ側に進む可能性が高い」とも書いた。今日はこれを言いっぱなしにせず数字で確かめる。

🗂️ データ・評価スキーマ

📏 評価の仕組み — 「入れ替わった」をどう判定するか

指標はtest accuracy。判定は「20seedの平均g1が +2SE を超えたら有意に得、−2SE を下回ったら有意に損、その間は区別できない」。下の図は、Dの未ラベル300件で |g1| と 2SE を並べたもの。40件では |g1| が 2SE の約4倍、400件では 2SE の1/10以下になる。

🎯 問題

タスクA（予想・設計）

タスクB（コーディング）

タスクC（分析）

💡 ヒント

def make_split(seed, n_lab, n_unl=300):
    lab40, unl, test = split_seed(seed)          # Day160 と同じ 40/300/110
    lab = lab40
    if n_lab > 40:
        extra = make_text_dataset(n=400, seed=seed + 1000).sample(frac=1.0, random_state=seed)
        lab = pd.concat([lab40, extra.iloc[: n_lab - 40]], ignore_index=True)
    if n_unl > 300:
        unl = pd.concat([unl, make_text_dataset(n=n_unl - 300, seed=seed + 2000)], ignore_index=True)
    return lab, unl, test

✅ 模範解答（要点。全文はMDファイル）

前提: Day160模範解答の import〜day157_val_es を day160_lib.py として保存しておく。

from day160_lib import *

# ---- 実験2: 20seed × 未ラベル300/1200件 (testだけ) ----
for n_lab in [40, 80, 160, 400]:
    for n_unl in [300, 1200]:
        for name, fn in METHODS.items():
            for s in range(20):
                lab, unl, test = make_split(s, n_lab, n_unl)
                full = ipl_curve(lab["text"], lab["label"], unl, fn, s, {"test": test}, n_rounds=5)["test"]
                rows.append({..., "g1": full[1] - full[0], "g5": full[5] - full[0]})
g = e2.groupby(["n_lab", "n_unl", "method"])
t2 = g[["r0", "g1", "g5"]].mean()
t2["g1_se"] = g["g1"].std(ddof=1) / np.sqrt(20)

assert (t2["g1"] < 2 * t2["g1_se"]).all() and (t2["g5"] < 2 * t2["g5_se"]).all()   # 有意に勝つ条件なし
assert (t2.loc[40, "g1"] < -2 * t2.loc[40, "g1_se"]).all()                        # 40件は有意に負ける
big = t2.loc[[160, 400]]
assert (big["g1"].abs() < 2 * big["g1_se"]).all()                                  # 160件以上は誤差の範囲

# ===== 実測（2026-09-24 / Python 3.13.12, scikit-learn 1.9.1, pandas 3.0.6, numpy 2.5.3 / 新規uv venv / 2分31秒） =====
[実験2: 20seed, 未ラベル300件]           g1 (±SE)          勝ち/負け
   D   40件 -0.0923 (0.0119)   0/18     G   40件 -0.0591 (0.0104)   2/18
   D   80件 -0.0545 (0.0123)   4/16     G   80件 -0.0300 (0.0087)   4/14
   D  160件 -0.0155 (0.0092)   5/11     G  160件 -0.0023 (0.0077)   6/11
   D  400件 -0.0005 (0.0032)   9/6      G  400件 -0.0009 (0.0038)  10/7
[未ラベル1200件で最大]  G 160件 +0.0064 (0.0055) = +1.2SE, 110件中0.7件分
感情語20語のうちラベル付きに出現: {40: 19.6, 80: 20.0, 160: 20.0, 400: 20.0}
[OK] 6個のassertすべて成立  (146.9s)

📊 結果の可視化

2枚目: 先生（疑似ラベル正解率）はDで0.87→0.98まで良くなるが、同時にr=0も0.73→0.97に上がり、test 110件中の残り誤答は30件→3件に減る。先生が良くなるほど、直せる問題が残っていない。

🧭 N1の書き直し（タスクC2の解答例）

🪜 Step-by-Step 解説

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

• 「データが増えたら疑似ラベルを試す」を既定にしない: 件数が多いこと自体は効く理由にならない。今日は400件・未ラベル1200件でもr=0を有意に上回らなかった
• trainとtestの語彙・分布のずれを先に測る: testにしか出ない語・カテゴリ・値域がどれだけあるかを数える。ずれが無ければ疑似ラベルは手間と壊れやすさを足すだけになりやすい（「ずれがあれば効く」側は未検証、Day162で測る）
• 小さい差はseedを増やして確かめる: 差が評価データ1〜2件分なら、分割・初期値を変えて平均とばらつきを出す。5本では順序すら入れ替わる

⚠️ よくある誤解・ミス

🚧 扱わなかった範囲と理由

• モデルの大きさ・データ拡張: Day160で挙げた「r>0が勝つ前提」3つのうち、動かしたのは件数2種だけ。3つ同時に動かすと原因がまた分からなくなる
• 未ラベル1200件より多い条件: 原因が「新しい情報が無い」ことに見えたので、件数より情報の有無を振る（Day162）方を先にした
• 閾値0.60・クラスタ数8: Day160の結論の再検証なので手順は固定

🚀 次のステップ

• 発展: 20seed実験にCVを足し、件数ごとに「CVでの差」と「testでの差」の散布図を描いて、N1のしきい値を1foldの件数の関数として決める
• 次回予告: Day162では感情語を20→200語に増やし、ラベル付き40件には出ない語が未ラベルには出る状態を作って、r>0がr=0を有意に上回るかを測る（N0.5の「ある」側の検証）

Phase 6 の学習マップ

📝 自己評価（解いた後に記入）