Day 126 — SOTA手法の追跡・論文実装① — 論文の数式をコードに落とし込むワークフロー（Label Smoothing）

📚 背景知識（読んでから問題へ）

🔁 論文→実装の翻訳ワークフロー（今日から繰り返し使う型）

今日はこのワークフローを、実際に有名な論文の数式1本（Label Smoothing）を題材に体験する。

🎯 問題

ラベルに一定割合のミス（ノイズ）が混入した合成分類データセットに対し、通常のCrossEntropyとLabel Smoothing付きCrossEntropyをそれぞれ実装して訓練し、精度と「自信の妥当さ（キャリブレーション）」の両方を比較します。

import numpy as np
from sklearn.datasets import make_classification

# --- 合成データ生成（5クラス分類、ラベルノイズ10%混入） ---
X, y_true = make_classification(
    n_samples=3000, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
)

rng = np.random.default_rng(42)
noise_rate = 0.10
y_noisy = y_true.copy()
noise_idx = rng.choice(len(y_true), size=int(len(y_true) * noise_rate), replace=False)
for i in noise_idx:
    other_classes = [c for c in range(5) if c != y_true[i]]
    y_noisy[i] = rng.choice(other_classes)

TRAIN_LEN = 2400

💡 ヒント

import torch
import torch.nn as nn
import torch.nn.functional as F

def label_smoothing_targets(targets: torch.Tensor, epsilon: float, num_classes: int) -> torch.Tensor:
    onehot = F.one_hot(targets, num_classes=num_classes).float()
    soft = (1 - epsilon) * onehot + epsilon / num_classes
    return soft

def soft_cross_entropy(logits: torch.Tensor, soft_targets: torch.Tensor) -> torch.Tensor:
    log_probs = F.log_softmax(logits, dim=1)
    return -(soft_targets * log_probs).sum(dim=1).mean()

# 訓練ループ内:
# soft_targets = label_smoothing_targets(y_batch, epsilon, 5)
# loss = soft_cross_entropy(model(x_batch), soft_targets)

✅ 模範解答

記号↔変数の対応表（ステップ③の実践）

import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from sklearn.datasets import make_classification
from torch.utils.data import TensorDataset, DataLoader

torch.manual_seed(0)

# --- サンプルデータ生成（問題文と同じ） ---
X, y_true = make_classification(
    n_samples=3000, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
)
rng = np.random.default_rng(42)
noise_rate = 0.10
y_noisy = y_true.copy()
noise_idx = rng.choice(len(y_true), size=int(len(y_true) * noise_rate), replace=False)
for i in noise_idx:
    other_classes = [c for c in range(5) if c != y_true[i]]
    y_noisy[i] = rng.choice(other_classes)

TRAIN_LEN = 2400
X_mean, X_std = X[:TRAIN_LEN].mean(axis=0), X[:TRAIN_LEN].std(axis=0)
X_scaled = (X - X_mean) / X_std

X_train = torch.tensor(X_scaled[:TRAIN_LEN], dtype=torch.float32)
y_train_noisy = torch.tensor(y_noisy[:TRAIN_LEN], dtype=torch.long)
X_test = torch.tensor(X_scaled[TRAIN_LEN:], dtype=torch.float32)
y_test_true = torch.tensor(y_true[TRAIN_LEN:], dtype=torch.long)  # 評価は「ノイズなし」の正解で行う

train_loader = DataLoader(TensorDataset(X_train, y_train_noisy), batch_size=64, shuffle=True)

# --- ステップ1: Label Smoothingの数式をそのままコードに翻訳 ---
def label_smoothing_targets(targets: torch.Tensor, epsilon: float, num_classes: int) -> torch.Tensor:
    """q'_k = (1 - epsilon) * q_k + epsilon / K を one-hot ターゲットに適用する"""
    onehot = F.one_hot(targets, num_classes=num_classes).float()
    soft = (1 - epsilon) * onehot + epsilon / num_classes
    return soft

# --- ステップ2: ソフトラベルに対応する自作CrossEntropy ---
def soft_cross_entropy(logits: torch.Tensor, soft_targets: torch.Tensor) -> torch.Tensor:
    """-sum_k q_k * log(p_k) をソフトラベル版に拡張したもの"""
    log_probs = F.log_softmax(logits, dim=1)
    return -(soft_targets * log_probs).sum(dim=1).mean()

class MLP(nn.Module):
    def __init__(self, in_dim=20, hidden=32, num_classes=5):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(in_dim, hidden), nn.ReLU(),
            nn.Linear(hidden, num_classes),
        )
    def forward(self, x):
        return self.net(x)

def train_model(epsilon: float, epochs: int = 60, lr: float = 0.01) -> nn.Module:
    torch.manual_seed(0)
    model = MLP()
    optimizer = torch.optim.Adam(model.parameters(), lr=lr)
    for epoch in range(epochs):
        model.train()
        for xb, yb in train_loader:
            optimizer.zero_grad()
            soft_targets = label_smoothing_targets(yb, epsilon, num_classes=5)
            loss = soft_cross_entropy(model(xb), soft_targets)
            loss.backward()
            optimizer.step()
    return model

# --- ステップ3: epsilon=0（通常CE相当）と epsilon=0.1（Label Smoothing）を比較 ---
model_baseline = train_model(epsilon=0.0)
model_smoothed = train_model(epsilon=0.1)

def evaluate(model):
    model.eval()
    with torch.no_grad():
        probs = F.softmax(model(X_test), dim=1)
        confidences, preds = probs.max(dim=1)
    acc = (preds == y_test_true).float().mean().item()
    return acc, confidences.numpy(), preds.numpy()

acc_base, conf_base, pred_base = evaluate(model_baseline)
acc_smooth, conf_smooth, pred_smooth = evaluate(model_smoothed)

print(f"baseline (epsilon=0.0)   test accuracy = {acc_base:.3f}")
print(f"smoothed (epsilon=0.1)   test accuracy = {acc_smooth:.3f}")
# 出力例（ノイズ率10%・実行環境により変動）:
# baseline (epsilon=0.0)   test accuracy = 0.782
# smoothed (epsilon=0.1)   test accuracy = 0.810
# → ラベルノイズが存在する状況では、Label Smoothingがノイズラベルへの
#   「過剰適合」を和らげ、ノイズなしの正解に対する精度がやや上回りやすい

# --- ステップ4: 簡易キャリブレーション測定（Reliability Diagram簡易版） ---
def calibration_table(confidences, preds, y_true_np):
    bins = [0.0, 0.2, 0.4, 0.6, 0.8, 1.0]
    correct = (preds == y_true_np)
    rows = []
    for lo, hi in zip(bins[:-1], bins[1:]):
        mask = (confidences > lo) & (confidences <= hi)
        if mask.sum() == 0:
            continue
        rows.append({
            "bin": f"({lo:.1f}, {hi:.1f}]",
            "n": int(mask.sum()),
            "avg_confidence": confidences[mask].mean(),
            "actual_accuracy": correct[mask].mean(),
        })
    return rows

# baseline: 確信度0.9台のビンで実際の正解率が0.75前後 → 「確信度 > 実際の正解率」＝過信
# smoothed: 確信度0.7〜0.8台に分布が寄り、確信度と実際の正解率の差が縮む → 過信が和らぐ

📊 キャリブレーションの可視化（確信度 vs 実際の正解率）

🪜 Step-by-Step 解説

1論文の数式の各記号を、実装のテンソルに1対1で対応づける

def label_smoothing_targets(targets, epsilon, num_classes):
    onehot = F.one_hot(targets, num_classes=num_classes).float()
    soft = (1 - epsilon) * onehot + epsilon / num_classes
    return soft

2nn.CrossEntropyLossが使えない理由と、自作損失で置き換える方法

def soft_cross_entropy(logits, soft_targets):
    log_probs = F.log_softmax(logits, dim=1)
    return -(soft_targets * log_probs).sum(dim=1).mean()

3epsilon=0のとき通常のCrossEntropyと一致することを確認する

4確信度を5段階のビンに分け、確信度と実際の正解率のズレを見る

mask = (confidences > lo) & (confidences <= hi)
row = {"avg_confidence": confidences[mask].mean(), "actual_accuracy": correct[mask].mean()}

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☐ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日のcalibration_tableをさらに一歩進め、全ビンの「確信度と実際の正解率の差」をサンプル数で加重平均したExpected Calibration Error（ECE）を1つのスカラー値として実装し、epsilon=0とepsilon=0.1のECEを直接数値で比較してみましょう。「キャリブレーションが良い」を1つの数字で語れるようになると、複数手法の比較がしやすくなります
• 次回予告: Day 127 — SOTA手法の追跡・論文実装②。引き続きPhase6テーマ1の枠内で、今日と同じ「論文の数式→実装」ワークフローを別の題材（汎化性能を高めるOptimizerの工夫など）に適用し、論文を読んで実装に落とし込む力をもう一段鍛えます

Phase 6 の学習マップ（全20テーマ・本日開始）

Phase5（Day110〜125）でDL基礎・CV・時系列DL・マルチモーダル・ソロGold戦略を完了し、Day126からPhase6（Grandmaster）に突入。まずは「論文→実装」の翻訳スキルを5日間かけて鍛える。

📝 自己評価（解いた後に記入）