Day 129 — SOTA手法の追跡・論文実装④ — Mixupで「境界のあいまいさ」を教える

📚 背景知識（読んでから問題へ）

🪄 Mixupの適用ステップ（今日の学習ループの流れ）

EMA（Day128）が「学習の全ステップをまたいで状態を蓄積する」のに対し、Mixupは「1バッチごとに独立に完結する処理」である点が対照的。SAM（Day127）と同じく1ステップ内で完結するが、SAMは勾配を、Mixupは入力データそのものを操作する。

🎯 問題

Day126〜128と同じ合成分類データに対し、通常の学習（Mixupなし）と、Mixupを使った学習を比較します。比較する軸は「test精度」だけでなく、モデルの自信度（確信度）が過剰でないかという新しい軸も見ます。

import numpy as np
from sklearn.datasets import make_classification

# --- 合成データ生成（5クラス分類。Day126/127/128と同系統） ---
X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

TRAIN_LEN = 1800   # 先頭1800件をtrain、残り600件をtest
# epochs=60、lr=1e-3程度で、baseline（Mixupなし）とmixup適用ありを同条件で比較する

💡 ヒント

import numpy as np
import torch

def mixup_data(x, y, alpha=0.2):
    lam = np.random.beta(alpha, alpha) if alpha > 0 else 1.0
    batch_size = x.size(0)
    index = torch.randperm(batch_size)
    mixed_x = lam * x + (1 - lam) * x[index]
    y_a, y_b = y, y[index]
    return mixed_x, y_a, y_b, lam

def mixup_criterion(loss_fn, pred, y_a, y_b, lam):
    return lam * loss_fn(pred, y_a) + (1 - lam) * loss_fn(pred, y_b)

# 学習ループ内:
# mixed_x, y_a, y_b, lam = mixup_data(xb, yb, alpha=0.2)
# pred = model(mixed_x)
# loss = mixup_criterion(loss_fn, pred, y_a, y_b, lam)

✅ 模範解答

記号↔変数の対応表

import numpy as np
import torch
import torch.nn as nn
from sklearn.datasets import make_classification
from torch.utils.data import TensorDataset, DataLoader

torch.manual_seed(0)

# --- サンプルデータ生成（問題文と同じ） ---
X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42, flip_y=0.03,
)
TRAIN_LEN = 1800

X_mean, X_std = X[:TRAIN_LEN].mean(axis=0), X[:TRAIN_LEN].std(axis=0)
X_scaled = (X - X_mean) / X_std

X_train = torch.tensor(X_scaled[:TRAIN_LEN], dtype=torch.float32)
y_train = torch.tensor(y[:TRAIN_LEN], dtype=torch.long)
X_test = torch.tensor(X_scaled[TRAIN_LEN:], dtype=torch.float32)
y_test = torch.tensor(y[TRAIN_LEN:], dtype=torch.long)

train_loader = DataLoader(TensorDataset(X_train, y_train), batch_size=32, shuffle=True)

class MLP(nn.Module):
    def __init__(self, in_dim=20, hidden=32, num_classes=5):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(in_dim, hidden), nn.ReLU(),
            nn.Linear(hidden, hidden), nn.ReLU(),
            nn.Linear(hidden, num_classes),
        )
    def forward(self, x):
        return self.net(x)

loss_fn = nn.CrossEntropyLoss()

# --- ステップ1/2: Mixupの数式をそのままコードに翻訳 ---
def mixup_data(x, y, alpha=0.2):
    lam = np.random.beta(alpha, alpha) if alpha > 0 else 1.0
    index = torch.randperm(x.size(0))
    mixed_x = lam * x + (1 - lam) * x[index]
    y_a, y_b = y, y[index]
    return mixed_x, y_a, y_b, lam

def mixup_criterion(loss_fn, pred, y_a, y_b, lam):
    # CE(pred, lam*y_i + (1-lam)*y_j) == lam*CE(pred,y_i) + (1-lam)*CE(pred,y_j)（線形性）
    return lam * loss_fn(pred, y_a) + (1 - lam) * loss_fn(pred, y_b)

def evaluate(model):
    model.eval()
    with torch.no_grad():
        logits = model(X_test)
        preds = logits.argmax(dim=1)
        acc = (preds == y_test).float().mean().item()
        conf = torch.softmax(logits, dim=1).max(dim=1).values.mean().item()
    return acc, conf

# --- ステップ3: baseline / mixup 共通の学習ループ ---
def train(epochs=60, lr=1e-3, use_mixup=False, alpha=0.2):
    torch.manual_seed(0)
    model = MLP()
    optimizer = torch.optim.Adam(model.parameters(), lr=lr)

    for epoch in range(epochs):
        model.train()
        for xb, yb in train_loader:
            optimizer.zero_grad()
            if use_mixup:
                mixed_x, y_a, y_b, lam = mixup_data(xb, yb, alpha=alpha)
                pred = model(mixed_x)
                loss = mixup_criterion(loss_fn, pred, y_a, y_b, lam)
            else:
                pred = model(xb)
                loss = loss_fn(pred, yb)
            loss.backward()
            optimizer.step()

    return evaluate(model)

# --- ステップ4: baseline vs mixup(alpha=0.2) の比較 ---
acc_base, conf_base = train(use_mixup=False)
acc_mix, conf_mix = train(use_mixup=True, alpha=0.2)
print(f"baseline : acc={acc_base:.4f}  mean_max_prob(確信度)={conf_base:.4f}")
print(f"mixup0.2 : acc={acc_mix:.4f}  mean_max_prob(確信度)={conf_mix:.4f}")
# 出力例（乱数・実行環境により変動）:
# baseline : acc=0.7150  mean_max_prob(確信度)=0.9350
# mixup0.2 : acc=0.7283  mean_max_prob(確信度)=0.8210
# → mixupの方がtest精度はやや高く、確信度(mean_max_prob)は明確に低い(=過剰な自信を抑えている)

# --- ステップ5: alphaの感度確認 ---
for alpha in [0.1, 0.2, 0.4, 1.0]:
    acc, conf = train(use_mixup=True, alpha=alpha)
    print(f"alpha={alpha:<4} acc={acc:.4f}  mean_max_prob={conf:.4f}")
# alpha=0.1  acc=0.720  mean_max_prob=0.885  (混合はやや弱く、baselineに近い挙動)
# alpha=0.2  acc=0.728  mean_max_prob=0.821  (適度な混合。精度・確信度ともバランスが良い)
# alpha=0.4  acc=0.726  mean_max_prob=0.760  (混合が強まり確信度はさらに低下、精度は横ばい)
# alpha=1.0  acc=0.705  mean_max_prob=0.690  (lamが一様分布に近づき混合が強すぎ、精度がやや悪化)

📊 確信度の可視化（alpha別の test精度 vs mean max prob）

🪜 Step-by-Step 解説

1なぜ「混合one-hotラベル」を作らずに済むのか

def mixup_criterion(loss_fn, pred, y_a, y_b, lam):
    return lam * loss_fn(pred, y_a) + (1 - lam) * loss_fn(pred, y_b)

2mixup_dataのindex（シャッフル）が担う役割

index = torch.randperm(x.size(0))
mixed_x = lam * x + (1 - lam) * x[index]

3「確信度（mean max softmax probability）」という新しい評価軸の意味

4alphaがλの分布の形をどう変えるか

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☐ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: alphaごとの実験結果を、横軸alpha・縦軸mean_max_probの折れ線グラフとしてプロットし、「alphaが大きくなるほど確信度が単調に下がっていくか」を可視化してみましょう。単調でない箇所があれば、乱数・サンプル数による限界なのか、本質的な非単調性なのかを考えると良い訓練になります
• 次回予告: Day 130 — SOTA手法の追跡・論文実装⑤（Phase6テーマ1の最終日）。Label Smoothing（損失）・SAM（Optimizer）・EMA（重みの後処理）・Mixup（入力データ）と4つの異なる切り口を反復してきた総仕上げとして、Knowledge Distillation（教師モデルの出力分布を生徒モデルに温度付きKLダイバージェンスで学習させる手法）を扱い、「2つのモデルが協調して学習する」という5つ目の全く新しい切り口に挑みます

Phase 6 の学習マップ（全20テーマ）

Day126でLabel Smoothing（損失関数の改造）、Day127でSAM（Optimizerの改造）、Day128でEMA（学習ループ外での重みの後処理）、Day129でMixup（入力データそのものの改造）と、「論文→実装」ワークフローを異なる切り口で4回反復。次はいよいよテーマ1の最終日。

📝 自己評価（解いた後に記入）