Day 150 — NLP系コンペへの応用① — テキスト分類にTTA（同義語置換）は本当に効くのか

📚 背景知識（読んでから問題へ）

TTAの基本アイデアは「推論時に入力へ小さな摂動を複数パターン加え、それぞれの予測を平均することでロバストな予測を得る」というもの。画像系コンペでは左右反転・明るさ変更などが定番だが、テキストでの自然な摂動候補は単語の同義語置換である。「great」を「fantastic」に置き換えても文の感情極性は変わらないはずなので、画像の明るさを少し変えるのと同じ「意味を保った摂動」になる、というのが検証前の直感的な仮説である。

🗂️ 語彙・同義語辞書のデータスキーマ

SAFE_SYNONYM_DICT = {
    "product": ["item", "goods"],
    "service": ["support", "assistance"],
    "quality": ["craftsmanship", "build"],
    "excellent": ["outstanding", "exceptional"],
    "bad": ["poor", "substandard"],
    # ... 他8語 ...
}

UNSAFE_SYNONYM_DICT = dict(SAFE_SYNONYM_DICT)
UNSAFE_SYNONYM_DICT["quality"] = ["poor", "bad"]  # 中立語のつもりが負極性語に化ける

🎯 問題

タスクA（理論）

以下2点をそれぞれ2〜3文で説明する。

タスクB（コーディング→分析）

💡 ヒント

def synonym_tta(text, synonym_dict, n_aug=5, seed=0):
    rng = random.Random(seed)
    variants = []
    words = text.split()
    for i in range(n_aug):
        new_words = [rng.choice(synonym_dict[w]) if (w in synonym_dict and rng.random() < 0.7) else w
                     for w in words]
        variants.append(" ".join(new_words))
    return variants

def predict_proba_with_tta(model, vectorizer, texts, synonym_dict, n_aug=5, seed=0):
    all_probs = []
    for idx, text in enumerate(texts):
        variants = [text] + synonym_tta(text, synonym_dict, n_aug=n_aug, seed=seed * 1000 + idx)
        probs = model.predict_proba(vectorizer.transform(variants))[:, 1]
        all_probs.append(probs.mean())
    return np.array(all_probs)

# ... 5シードでTTAあり/なしのaccuracy・loglossを比較し、assertで確認 ...

✅ 模範解答

import random
import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, log_loss

POSITIVE_WORDS = ["excellent", "amazing", "great", "fantastic", "wonderful",
                   "love", "perfect", "superb", "brilliant", "awesome"]
NEGATIVE_WORDS = ["terrible", "awful", "bad", "horrible", "poor",
                   "hate", "worst", "disappointing", "mediocre", "annoying"]
NEUTRAL_WORDS = ["product", "service", "today", "delivery", "package", "price",
                  "item", "order", "experience", "quality", "team", "staff",
                  "website", "app", "screen", "battery", "design"]

# 同義語辞書: 中立語 + 同極性の感情語のみを対象にした「安全な」置換
SAFE_SYNONYM_DICT = {
    "product": ["item", "goods"], "service": ["support", "assistance"],
    "delivery": ["shipping", "dispatch"], "price": ["cost", "pricing"],
    "quality": ["craftsmanship", "build"], "experience": ["encounter", "interaction"],
    "excellent": ["outstanding", "exceptional"], "great": ["terrific", "superb"],
    "amazing": ["astonishing", "incredible"], "terrible": ["dreadful", "atrocious"],
    "bad": ["poor", "substandard"], "awful": ["appalling", "dire"],
}

# わざと「危険な」同義語を1件混入: 中立語"quality"を学習語彙に実在する負極性語に誤ってマッピング
UNSAFE_SYNONYM_DICT = dict(SAFE_SYNONYM_DICT)
UNSAFE_SYNONYM_DICT["quality"] = ["poor", "bad"]


def make_text_dataset(n=300, seed=42):
    rng = random.Random(seed)
    rows = []
    for _ in range(n):
        n_pos = rng.choice([0, 1, 2])
        n_neg = rng.choice([0, 1, 2])
        if n_pos == 0 and n_neg == 0:
            n_pos = 1
        sent_words = rng.sample(POSITIVE_WORDS, k=min(n_pos, len(POSITIVE_WORDS))) \
            + rng.sample(NEGATIVE_WORDS, k=min(n_neg, len(NEGATIVE_WORDS)))
        n_neutral = rng.randint(3, 6)
        neutral_words = rng.sample(NEUTRAL_WORDS, k=n_neutral)
        words = sent_words + neutral_words
        rng.shuffle(words)
        text = " ".join(words)
        label = 1 if n_pos > n_neg else 0
        rows.append({"text": text, "label": label})
    return pd.DataFrame(rows)


def synonym_tta(text, synonym_dict, n_aug=5, seed=0):
    rng = random.Random(seed)
    variants = []
    words = text.split()
    for i in range(n_aug):
        new_words = []
        for w in words:
            if w in synonym_dict and rng.random() < 0.7:
                new_words.append(rng.choice(synonym_dict[w]))
            else:
                new_words.append(w)
        variants.append(" ".join(new_words))
    return variants


def predict_proba_with_tta(model, vectorizer, texts, synonym_dict, n_aug=5, seed=0):
    all_probs = []
    for idx, text in enumerate(texts):
        variants = [text] + synonym_tta(text, synonym_dict, n_aug=n_aug, seed=seed * 1000 + idx)
        X_variants = vectorizer.transform(variants)
        probs = model.predict_proba(X_variants)[:, 1]
        all_probs.append(probs.mean())
    return np.array(all_probs)


def run_one_seed(seed, synonym_dict, n_aug=5):
    df = make_text_dataset(n=300, seed=seed)
    train_df, test_df = train_test_split(df, test_size=0.3, random_state=seed, stratify=df["label"])

    vectorizer = TfidfVectorizer()
    X_train = vectorizer.fit_transform(train_df["text"])
    model = LogisticRegression(max_iter=1000)
    model.fit(X_train, train_df["label"])

    X_test = vectorizer.transform(test_df["text"])
    proba_no_tta = model.predict_proba(X_test)[:, 1]
    acc_no_tta = accuracy_score(test_df["label"], (proba_no_tta >= 0.5).astype(int))
    ll_no_tta = log_loss(test_df["label"], proba_no_tta, labels=[0, 1])

    proba_tta = predict_proba_with_tta(model, vectorizer, test_df["text"].tolist(), synonym_dict, n_aug=n_aug, seed=seed)
    acc_tta = accuracy_score(test_df["label"], (proba_tta >= 0.5).astype(int))
    ll_tta = log_loss(test_df["label"], proba_tta, labels=[0, 1])

    return {"seed": seed, "acc_no_tta": acc_no_tta, "acc_tta": acc_tta,
            "ll_no_tta": ll_no_tta, "ll_tta": ll_tta}


SEEDS = [0, 1, 2, 3, 4]
df_safe = pd.DataFrame([run_one_seed(s, SAFE_SYNONYM_DICT) for s in SEEDS])
df_unsafe = pd.DataFrame([run_one_seed(s, UNSAFE_SYNONYM_DICT) for s in SEEDS])

mean_ll_no_tta_safe = df_safe["ll_no_tta"].mean()
mean_ll_tta_safe = df_safe["ll_tta"].mean()
mean_acc_no_tta_unsafe = df_unsafe["acc_no_tta"].mean()
mean_acc_tta_unsafe = df_unsafe["acc_tta"].mean()

assert mean_ll_tta_safe <= mean_ll_no_tta_safe + 0.05, "SAFE辞書でTTAがloglossを大きく悪化させています"
assert mean_acc_tta_unsafe <= mean_acc_no_tta_unsafe, "UNSAFE辞書でTTAが精度を悪化させていません（想定外）"
print("[OK] SAFE辞書のTTAはloglossを0.05以内の悪化に収まっている / UNSAFE辞書のTTAは精度を悪化させている")

# ============ 実測結果（実際にPython 3で実行して確認済み） ============
# ==== SAFE_SYNONYM_DICT（意味を保つ同義語のみ）====
#    seed  acc_no_tta   acc_tta  ll_no_tta    ll_tta
# 0     0    0.955556  0.866667   0.402585  0.446694
# 1     1    0.933333  0.933333   0.422922  0.439733
# 2     2    0.888889  0.888889   0.429622  0.464201
# 3     3    0.911111  0.833333   0.430728  0.477468
# 4     4    0.933333  0.866667   0.405887  0.435327
# 平均 acc_no_tta: 0.9244  平均 acc_tta: 0.8778
# 平均 ll_no_tta : 0.4183  平均 ll_tta : 0.4527
#
# ==== UNSAFE_SYNONYM_DICT（quality→poor/badという意味反転リスクを1件混入）====
#    seed  acc_no_tta   acc_tta  ll_no_tta    ll_tta
# 0     0    0.955556  0.822222   0.402585  0.459576
# 1     1    0.933333  0.855556   0.422922  0.462696
# 2     2    0.888889  0.833333   0.429622  0.483932
# 3     3    0.911111  0.800000   0.430728  0.491426
# 4     4    0.933333  0.822222   0.405887  0.448071
# 平均 acc_no_tta: 0.9244  平均 acc_tta: 0.8267
# 平均 ll_no_tta : 0.4183  平均 ll_tta : 0.4691
#
# [OK] SAFE辞書のTTAはloglossを0.05以内の悪化に収まっている / UNSAFE辞書のTTAは精度を悪化させている

📊 結果の可視化

🪜 Step-by-Step 解説

1なぜ「TF-IDFの固定語彙」がテキストTTAの効果を決定づけるのか

vectorizer = TfidfVectorizer()
X_train = vectorizer.fit_transform(train_df["text"])
# ... 推論時 ...
X_variants = vectorizer.transform(variants)  # 学習語彙に無い単語は無視される

2なぜUNSAFE辞書はさらに精度を悪化させるのか

UNSAFE_SYNONYM_DICT["quality"] = ["poor", "bad"]  # 学習語彙に実在する負極性語

3なぜ「TTAあり/なし」を5シードで比較する設計にしたのか

SEEDS = [0, 1, 2, 3, 4]
df_safe = pd.DataFrame([run_one_seed(s, SAFE_SYNONYM_DICT) for s in SEEDS])

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 自然言語処理（NLP） / ☑ 表形式データ（Tabular、TF-IDF特徴量として応用可）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日はTF-IDF＋LogisticRegressionという最もシンプルなBoW系パイプラインでテキストTTAを検証したが、次の段階として「Transformer系（BERT等）の文脈埋め込みを使った場合、同じ同義語置換TTAの効果はどう変わるか」を比較検証することで、「TTAが効くかどうかはモデルの表現形式に依存する」という今日の仮説をさらに裏付けられる
• 次回予告: 引き続きPhase6の「NLP系コンペへの応用」を深掘りし、次回はback-translationのような文単位のTTA、またはDay136-137で数値データに実装したPseudo Labelingのテキスト分類への応用を検討する

Phase 6 の学習マップ（NLP系コンペへの応用フェーズに突入）

Day149のPhase6総復習の次回予告どおり、Day150からNLP系コンペへの応用を開始した。画像TTAの成功体験をそのままテキストに輸入すると、TF-IDFの固定語彙という制約により逆効果になりうることを実測で確認した。

📝 自己評価（解いた後に記入）