Day 160 — NLP系コンペへの応用⑪（シリーズ総括）— Iterative Pseudo Labelingの設計フローチャートを作ったら、最初の分岐は「疑似ラベルを使わない」だった

📚 背景知識（読んでから問題へ）

Day151〜159の10日間で分かったことを、次に同じ状況に出会ったとき「どの順番で何を決めるか」という設計手順にまとめる日。まず材料を並べる。

acc_after, _, _ = train_and_eval(new_texts, new_labels, test_df)   # ← 最終報告に使う test_df そのもの
if stop_mode == "val" and prev_acc is not None and acc_after < prev_acc:
    break

🗂️ データ・評価スキーマ

📏 評価の仕組み — 40件CVは何件分の差まで見分けられるか

評価指標はaccuracy（正解数÷件数）。ただし検証1foldが8件だと、accは 0/8, 1/8, … 8/8 の0.125刻み、5fold平均でも0.025刻みにしかならない。下の図は、今日の実測差をこの目盛りに重ねたもの。

🎯 問題

タスクA（戦略・監査）

タスクB（コーディング）

💡 ヒント

def cv_curve(labeled_df, unlabeled_df, select_fn, seed, n_rounds=5, n_splits=5):
    skf = StratifiedKFold(n_splits=n_splits, shuffle=True, random_state=seed)
    fold_curves = []
    for tr, va in skf.split(labeled_df["text"], labeled_df["label"]):
        tr_df, va_df = labeled_df.iloc[tr], labeled_df.iloc[va]
        fold_curves.append(ipl_curve(tr_df["text"], tr_df["label"], unlabeled_df,
                                     select_fn, seed, {"val": va_df}, n_rounds)["val"])
    return np.vstack(fold_curves)

✅ 模範解答（要点。全文はMDファイル）

# make_text_dataset / split_seed / クラスタ選択(D,G) は Day151〜159 と同じ
def ipl_curve(lab_texts, lab_labels, unlabeled_df, select_fn, seed, eval_dfs,
              n_rounds=5, threshold=0.60, n_clusters=8):
    cur_t, cur_l = list(lab_texts), list(lab_labels)
    remaining = unlabeled_df.reset_index(drop=True)
    curves = {k: [] for k in eval_dfs}
    for r in range(0, n_rounds + 1):          # ★ r=0 (疑似ラベルなし) から測る
        vec, model = fit(cur_t, cur_l)
        for k, d in eval_dfs.items():
            curves[k].append(acc_on(vec, model, d))
        if r == n_rounds: break
        stop = len(remaining) == 0
        if not stop:
            proba = model.predict_proba(vec.transform(remaining["text"]))[:, 1]
            n_added = int(((proba >= threshold) | (proba <= 1 - threshold)).sum())
            stop = n_added == 0
        if stop:
            for k in curves: curves[k] += [curves[k][-1]] * (n_rounds - r)
            break
        mask, pl = select_fn(model, vec, remaining, n_added, n_clusters, seed)
        cur_t += remaining.loc[mask, "text"].tolist(); cur_l += pl.tolist()
        remaining = remaining.loc[~mask].reset_index(drop=True)
    return {k: np.array(v) for k, v in curves.items()}

def argmax_first(a):
    return int(np.flatnonzero(a == a.max())[0])        # 同点なら小さい r

def day157_val_es(test_curve):                          # Day157 の再現: r=1 から開始
    r = 1
    while r + 1 < len(test_curve) and test_curve[r + 1] >= test_curve[r]:
        r += 1
    return r

# D・G × seed 0..4 で full = ipl_curve(40件, {"test": test_df, ...}), cv = cv_curve(...)
# r_cv = argmax_first(cv.mean(axis=0)),  r_peek = argmax_first(full["test"]),  r_157 = day157_val_es(full["test"])
assert (res["r_day157"] == 1).all()
assert (m["acc_r0"] > m["acc_day157"]).all()
assert (res.loc[res.method == "D", "r_cv"] == 0).all()
assert (m["acc_cv"] > m["acc_day157"]).all()
print("[OK] 6個のassertすべて成立")

# ===== 実測（2026-09-23 / Python 3.13, scikit-learn 1.9.1, pandas 3.0.6, numpy 2.5.3 / 約21秒） =====
[手法別 5seed平均 test acc]
          r=0     r=1     r=5    Day157ルール  test覗き(上限)  正直なCV
   D   0.7418  0.6327  0.5455       0.6327        0.7418        0.7418
   G   0.7418  0.6800  0.6455       0.6800        0.7491        0.7255

選ばれたr:  Day157ルール  D [1,1,1,1,1]  G [1,1,1,1,1]
            test覗き      D [0,0,0,0,0]  G [0,0,0,0,1]
            正直なCV      D [0,0,0,0,0]  G [0,0,2,0,0]
[OK] 6個のassertすべて成立

📊 結果の可視化

🧭 設計フローチャート（タスクB6の解答例）

🪜 Step-by-Step 解説

迷った他案と採らなかった理由

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: N1のしきい値「差0.05未満ならr=0」を、seed数50で「CVでの差」と「testでの差」の散布図にして測り直す。Repeated Stratified K-FoldでCVの粗さがどれだけ減るかも確かめる
• 次回予告: Day161では、ラベル付き件数を40→400に増やしたとき、r=0とr>0の優劣が入れ替わるか、入れ替わるならどの件数からかを測り、今日の結論が「データが少ないとき専用」なのかを確かめる

Phase 6 の学習マップ

📝 自己評価（解いた後に記入）