Day 130 — SOTA手法の追跡・論文実装⑤ — Knowledge Distillationで教師の「暗黙知」を生徒へ伝える

📚 背景知識（読んでから問題へ）

🪄 KDの適用ステップ（今日の学習ループの流れ）

Mixup（Day129）が「1つのモデル・1バッチ内で完結する処理」だったのに対し、KDは初めて「2つの独立したモデルが登場し、片方は固定・片方だけ学習する」という構造上の違いを持つ。

🎯 問題

Day126〜129と同じ合成分類データに対し、大きな教師モデル（Teacher）をまず普通に学習させ、その後小さな生徒モデル（Student）を2通りの方法で学習させて比較します。1つ目は正解ラベルだけで普通に学習させる方法（baseline）、2つ目はTeacherの出力分布も使ったKnowledge Distillationです。

import numpy as np
from sklearn.datasets import make_classification

# --- 合成データ生成（5クラス分類。Day126〜129と同系統） ---
X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42,
    flip_y=0.03,
)

TRAIN_LEN = 1800   # 先頭1800件をtrain、残り600件をtest
# Teacher: hidden=128の3層MLP、epochs=60で先に学習させておく
# Student: hidden=8の小さな1層MLP。baseline / KD(alpha=0.3, T=4) の2通りで学習し比較する

💡 ヒント

import torch
import torch.nn.functional as F

def distillation_loss(z_s, z_t, y, T=4.0, alpha=0.3):
    hard_loss = F.cross_entropy(z_s, y)
    soft_loss = F.kl_div(
        F.log_softmax(z_s / T, dim=1),
        F.softmax(z_t / T, dim=1),
        reduction="batchmean",
    ) * (T ** 2)
    return alpha * hard_loss + (1 - alpha) * soft_loss

# 学習ループ内（Student側）:
# with torch.no_grad():
#     z_t = teacher(xb)          # Teacherは推論のみ、勾配なし
# z_s = student(xb)
# loss = distillation_loss(z_s, z_t, yb, T=4.0, alpha=0.3)

✅ 模範解答

記号↔変数の対応表

import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from sklearn.datasets import make_classification
from torch.utils.data import TensorDataset, DataLoader

torch.manual_seed(0)

# --- サンプルデータ生成（問題文と同じ） ---
X, y = make_classification(
    n_samples=2400, n_features=20, n_informative=12,
    n_classes=5, n_clusters_per_class=1, random_state=42, flip_y=0.03,
)
TRAIN_LEN = 1800

X_mean, X_std = X[:TRAIN_LEN].mean(axis=0), X[:TRAIN_LEN].std(axis=0)
X_scaled = (X - X_mean) / X_std

X_train = torch.tensor(X_scaled[:TRAIN_LEN], dtype=torch.float32)
y_train = torch.tensor(y[:TRAIN_LEN], dtype=torch.long)
X_test = torch.tensor(X_scaled[TRAIN_LEN:], dtype=torch.float32)
y_test = torch.tensor(y[TRAIN_LEN:], dtype=torch.long)

train_loader = DataLoader(TensorDataset(X_train, y_train), batch_size=32, shuffle=True)

class MLP(nn.Module):
    """hiddenの大きさでTeacher/Studentを両方表現する"""
    def __init__(self, in_dim=20, hidden=32, num_classes=5, n_layers=2):
        super().__init__()
        layers = [nn.Linear(in_dim, hidden), nn.ReLU()]
        for _ in range(n_layers - 1):
            layers += [nn.Linear(hidden, hidden), nn.ReLU()]
        layers += [nn.Linear(hidden, num_classes)]
        self.net = nn.Sequential(*layers)
    def forward(self, x):
        return self.net(x)

def evaluate(model):
    model.eval()
    with torch.no_grad():
        preds = model(X_test).argmax(dim=1)
    return (preds == y_test).float().mean().item()

# --- ステップ1: Teacher（hidden=128, 3層）を通常学習 ---
def train_plain(model, epochs=60, lr=1e-3):
    torch.manual_seed(0)
    optimizer = torch.optim.Adam(model.parameters(), lr=lr)
    for epoch in range(epochs):
        model.train()
        for xb, yb in train_loader:
            optimizer.zero_grad()
            loss = F.cross_entropy(model(xb), yb)
            loss.backward()
            optimizer.step()
    return model

teacher = MLP(hidden=128, n_layers=3)
teacher = train_plain(teacher)
teacher.eval()
acc_teacher = evaluate(teacher)

# --- ステップ2: KD損失の実装（数式をそのまま翻訳） ---
def distillation_loss(z_s, z_t, y, T=4.0, alpha=0.3):
    hard_loss = F.cross_entropy(z_s, y)
    soft_loss = F.kl_div(
        F.log_softmax(z_s / T, dim=1),
        F.softmax(z_t / T, dim=1),
        reduction="batchmean",
    ) * (T ** 2)
    return alpha * hard_loss + (1 - alpha) * soft_loss

# --- ステップ3: Student(baseline) / Student(KD) の学習 ---
def train_student(use_kd=False, T=4.0, alpha=0.3, epochs=60, lr=1e-3):
    torch.manual_seed(0)
    student = MLP(hidden=8, n_layers=1)
    optimizer = torch.optim.Adam(student.parameters(), lr=lr)

    for epoch in range(epochs):
        student.train()
        for xb, yb in train_loader:
            optimizer.zero_grad()
            z_s = student(xb)
            if use_kd:
                with torch.no_grad():
                    z_t = teacher(xb)          # Teacherは推論のみ、勾配は流さない
                loss = distillation_loss(z_s, z_t, yb, T=T, alpha=alpha)
            else:
                loss = F.cross_entropy(z_s, yb)
            loss.backward()
            optimizer.step()

    return evaluate(student)

acc_student_base = train_student(use_kd=False)
acc_student_kd = train_student(use_kd=True, T=4.0, alpha=0.3)

# --- ステップ4: 3つを比較 ---
print(f"Teacher          : acc={acc_teacher:.4f}")
print(f"Student(baseline): acc={acc_student_base:.4f}")
print(f"Student(KD)      : acc={acc_student_kd:.4f}")
# 出力例（乱数・実行環境により変動）:
# Teacher          : acc=0.7517
# Student(baseline): acc=0.6217
# Student(KD)      : acc=0.6783
# → Student(KD)はStudent(baseline)よりTeacherに近づいた（Teacherには届かないが差が縮まる）

# --- ステップ5: 温度Tの感度確認 ---
for T in [1, 2, 4, 8]:
    acc = train_student(use_kd=True, T=T, alpha=0.3)
    print(f"T={T:<3} Student(KD) acc={acc:.4f}")
# T=1  acc=0.6417  (ほぼ通常のsoftmaxのまま。分布が鋭くdark knowledgeが伝わりにくい)
# T=2  acc=0.6650  (なだらかになり始め、改善が出てくる)
# T=4  acc=0.6783  (ちょうどよくなだらか。baselineとの差が最大)
# T=8  acc=0.6533  (なだらかすぎてクラス間の情報がぼやけ、やや悪化)

📊 結果の可視化（3者比較 と 温度T感度）

🪜 Step-by-Step 解説

1なぜT²という係数が必要なのか

soft_loss = F.kl_div(...) * (T ** 2)

2KLDivLossの「入力は対数確率、targetは確率」という非対称な仕様

soft_loss = F.kl_div(
    F.log_softmax(z_s / T, dim=1),   # 入力: 対数確率
    F.softmax(z_t / T, dim=1),        # target: 確率（対数を取らない）
    reduction="batchmean",
)

3なぜTeacherにtorch.no_grad()をかけるのか

with torch.no_grad():
    z_t = teacher(xb)

4温度Tが確率分布の「なだらかさ」をどう変えるか

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☐ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: alpha（ハード損失とソフト損失の重み）も[0.1, 0.3, 0.5, 0.7, 0.9]のように変化させ、Tとalphaの2軸でどの組み合わせがStudent(KD)の精度を最大化するかグリッドサーチしてみましょう。TとalphaはKDでは独立ではなく相互作用することが多く、両方を動かして初めて見える傾向があります
• 次回予告: Phase6テーマ1「SOTA手法の追跡・論文実装」は今日で完走です（Label Smoothing → SAM → EMA → Mixup → Knowledge Distillation の5題）。Day 131からはPhase6テーマ2「カスタムアーキテクチャ設計」に入ります。1つ目のテーマとして、表形式データ向けのResidual接続を持つMLPブロックの自作設計（層を深くしても学習が壊れにくくする、Skip Connectionの直感と実装）を扱います

Phase 6 の学習マップ（全20テーマ）

Day126でLabel Smoothing（損失関数の改造）、Day127でSAM（Optimizerの改造）、Day128でEMA（学習ループ外での重みの後処理）、Day129でMixup（入力データそのものの改造）、Day130でKnowledge Distillation（2つのモデルの協調学習）と、「論文→実装」ワークフローを5つの異なる切り口で反復完走。次はいよいよカスタムアーキテクチャ設計へ。

📝 自己評価（解いた後に記入）