Day 117 — 転移学習入門 — 事前学習済みResNetの活用・Feature ExtractionとFine-tuningの違い

📚 背景知識（読んでから問題へ）

🧊 凍結範囲の違い — どこまで「借りたまま」使うか

左（入力側）ほど「エッジ・色・テクスチャ」のような汎用的な特徴、右（出力側）ほど「1000クラス分類に特化した抽象的な特徴」を捉える。Fine-tuningモードでは出力に一番近いlayer4だけ凍結を解除し、自分のタスク（CIFAR10の10クラス分類）に合わせて特徴を寄せていく。

🎯 問題

CIFAR10（32×32・3チャンネル・10クラス）を題材に、torchvision.models.resnet18の事前学習済み重みを使って、以下3つを実装してください。

💡 ヒント

def build_feature_extractor():
    model = models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
    for param in model.parameters():
        param.requires_grad = False
    model.fc = nn.Linear(model.fc.in_features, 10)
    return model.to(device)

def build_fine_tune_model():
    model = models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
    for param in model.parameters():
        param.requires_grad = False
    # ここでlayer4だけ凍結を解除する
    model.fc = nn.Linear(model.fc.in_features, 10)
    return model.to(device)

def train_and_eval(model, epochs, lr):
    trainable_params = filter(lambda p: p.requires_grad, model.parameters())
    optimizer = optim.Adam(trainable_params, lr=lr)
    # --- 学習・評価ループ（Day115, 116と同様）---

✅ 模範解答

データ準備（ImageNetのmean/stdで正規化）

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader
from torchvision import datasets, transforms, models
from torchvision.models import ResNet18_Weights

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 事前学習済みResNetはImageNetの統計量(mean/std)で正規化された224x224入力を前提にしている
transform = transforms.Compose([
    transforms.Resize(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])

train_dataset = datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
val_dataset = datasets.CIFAR10(root="./data", train=False, download=True, transform=transform)

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=64, shuffle=False)

タスク1・2: 特徴抽出モードとFine-tuningモードの構築

def build_feature_extractor():
    model = models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
    for param in model.parameters():
        param.requires_grad = False
    model.fc = nn.Linear(model.fc.in_features, 10)  # 新規作成なのでrequires_grad=Trueがデフォルト
    return model.to(device)


def build_fine_tune_model():
    model = models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
    for param in model.parameters():
        param.requires_grad = False
    for param in model.layer4.parameters():
        param.requires_grad = True  # 出力に一番近い畳み込みブロックだけ凍結解除
    model.fc = nn.Linear(model.fc.in_features, 10)
    return model.to(device)

タスク3: 学習・評価・比較

def train_and_eval(model, epochs, lr):
    criterion = nn.CrossEntropyLoss()
    trainable_params = filter(lambda p: p.requires_grad, model.parameters())
    optimizer = optim.Adam(trainable_params, lr=lr)

    for epoch in range(epochs):
        model.train()
        running_loss, correct, total = 0.0, 0, 0
        for images, labels in train_loader:
            images, labels = images.to(device), labels.to(device)
            optimizer.zero_grad()
            outputs = model(images)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            running_loss += loss.item() * images.size(0)
            preds = outputs.argmax(dim=1)
            correct += (preds == labels).sum().item()
            total += labels.size(0)

        train_loss = running_loss / total
        train_acc = correct / total

        model.eval()
        val_correct, val_total = 0, 0
        with torch.no_grad():
            for images, labels in val_loader:
                images, labels = images.to(device), labels.to(device)
                outputs = model(images)
                preds = outputs.argmax(dim=1)
                val_correct += (preds == labels).sum().item()
                val_total += labels.size(0)
        val_acc = val_correct / val_total

        print(f"Epoch {epoch+1}/{epochs}: train_loss={train_loss:.4f}, train_acc={train_acc:.4f}, val_acc={val_acc:.4f}")

    return val_acc


print("=== 特徴抽出モード（Feature Extraction）===")
fe_model = build_feature_extractor()
fe_val_acc = train_and_eval(fe_model, epochs=3, lr=0.001)

print("=== Fine-tuningモード（layer4 + fc を再学習）===")
ft_model = build_fine_tune_model()
# layer4は事前学習済みの重みなので、fcより小さい学習率で「壊しすぎない」ように調整する
ft_val_acc = train_and_eval(ft_model, epochs=3, lr=0.0001)

print(f"特徴抽出モード  最終val_acc: {fe_val_acc:.4f}")
print(f"Fine-tuningモード 最終val_acc: {ft_val_acc:.4f}")
# 実行結果例（環境・乱数により変動する）:
# 特徴抽出モード  最終val_acc: 0.7412
# Fine-tuningモード 最終val_acc: 0.8156
# → Fine-tuningの方が高くなりやすい。CIFAR10は5万枚と学習データが十分にあり、
#   layer4を自分のタスク用に微調整できる余地が活きるため。

📊 実行結果の比較イメージ（検証accuracy）

模範解答の実行例（実際の数値は初期化・環境により変動します）。

🪜 Step-by-Step 解説

1事前学習済みモデルをロードし、全パラメータを凍結する

model = models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
for param in model.parameters():
    param.requires_grad = False

2最終層だけを自分のクラス数に合わせて置き換える

model.fc = nn.Linear(model.fc.in_features, 10)

3layer4だけ凍結を解除してFine-tuningモードを作る

for param in model.layer4.parameters():
    param.requires_grad = True

4optimizerには学習対象のパラメータだけを渡す

trainable_params = filter(lambda p: p.requires_grad, model.parameters())
optimizer = optim.Adam(trainable_params, lr=lr)

5Fine-tuningモードの学習率をFeature Extractionより小さくする

ft_val_acc = train_and_eval(ft_model, epochs=3, lr=0.0001)  # 特徴抽出モードは lr=0.001

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 画像認識（CV） / ☐ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: model.layer3も追加で凍結解除し、「fcのみ」「layer4+fc」「layer3+layer4+fc」の3パターンで検証accuracyと学習時間を比較し、「解凍範囲を広げるほど精度は上がるが計算コストも増える」トレードオフを実際の数値で確認してみましょう
• 次回予告: Day 118 — EfficientNet・timmライブラリ入門（より高精度なバックボーンの選び方）。今日はtorchvision標準のresnet18を使いましたが、次回はKaggleで定番のtimmライブラリを使い、幅広いバックボーンの中から用途に合ったモデルを選ぶ方法を学びます

Phase 5 の学習マップ（全20テーマ予定）

Day 114〜116で自作CNNの構造・学習・過学習検知を一通り体験し、Day 117から事前学習済みモデルを使う転移学習フェーズへ移行。CVブロック（11-15）はResNet・EfficientNet・Augmentationの応用テクニックを扱う。

📝 自己評価（解いた後に記入）