Day 118 — EfficientNet・timmライブラリ入門 — 統一APIでのバックボーン選定

📚 背景知識（読んでから問題へ）

📐 compound scalingのイメージ — 3つを同時に、バランスよく

B0〜B7の番号は、この「つまみφ」の値の違いに対応する。番号が上がるほど深さ・幅・解像度が同じ比率のまま大きくなっていく。

🎯 問題

CIFAR10を題材に、timmライブラリでefficientnet_b0の事前学習済みモデルを特徴抽出（Feature Extraction）モードで利用する処理を実装してください。

💡 ヒント

import timm
import torch.nn as nn

def build_efficientnet_feature_extractor():
    model = timm.create_model("efficientnet_b0", pretrained=True, num_classes=10)

    classifier = model.get_classifier()
    classifier_param_ids = {id(p) for p in classifier.parameters()}

    for param in model.parameters():
        if id(param) not in classifier_param_ids:
            param.requires_grad = False
        # 分類ヘッド自身のパラメータは requires_grad=True のまま触らない

    return model.to(device)

def count_params(model, only_trainable=False):
    if only_trainable:
        return sum(p.numel() for p in model.parameters() if p.requires_grad)
    return sum(p.numel() for p in model.parameters())

✅ 模範解答

タスク1: 利用可能なEfficientNet系モデルを一覧する

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader
from torchvision import datasets, transforms, models
from torchvision.models import ResNet18_Weights
import timm

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

efficientnet_models = timm.list_models("*efficientnet*", pretrained=True)
print("EfficientNet系モデル（先頭5件）:", efficientnet_models[:5])
# 出力例: ['efficientnet_b0', 'efficientnet_b1', 'efficientnet_b1_pruned', 'efficientnet_b2', 'efficientnet_b2_pruned']

データ準備（timmのEfficientNet-B0も224×224・ImageNet統計量が前提）

transform = transforms.Compose([
    transforms.Resize(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])

train_dataset = datasets.CIFAR10(root="./data", train=True, download=True, transform=transform)
val_dataset = datasets.CIFAR10(root="./data", train=False, download=True, transform=transform)

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=64, shuffle=False)

タスク2: efficientnet_b0を特徴抽出モードで構築

def build_efficientnet_feature_extractor():
    model = timm.create_model("efficientnet_b0", pretrained=True, num_classes=10)

    classifier = model.get_classifier()
    classifier_param_ids = {id(p) for p in classifier.parameters()}

    for param in model.parameters():
        if id(param) not in classifier_param_ids:
            param.requires_grad = False

    return model.to(device)


# --- 比較用: Day117のresnet18特徴抽出モデル ---
def build_resnet18_feature_extractor():
    model = models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
    for param in model.parameters():
        param.requires_grad = False
    model.fc = nn.Linear(model.fc.in_features, 10)
    return model.to(device)


def count_params(model, only_trainable=False):
    if only_trainable:
        return sum(p.numel() for p in model.parameters() if p.requires_grad)
    return sum(p.numel() for p in model.parameters())

タスク3: パラメータ数の比較

resnet_model = build_resnet18_feature_extractor()
efficientnet_model = build_efficientnet_feature_extractor()

print(f"resnet18       総パラメータ数: {count_params(resnet_model):,}")
print(f"efficientnet_b0 総パラメータ数: {count_params(efficientnet_model):,}")
# 出力例:
# resnet18        総パラメータ数: 11,181,642
# efficientnet_b0 総パラメータ数: 4,020,358
# → efficientnet_b0はresnet18の1/3弱のパラメータ数。compound scalingにより
#   少ないパラメータでも表現力の高い特徴を抽出できる設計になっているため。

タスク4: 学習・評価・比較

def train_and_eval(model, epochs, lr):
    criterion = nn.CrossEntropyLoss()
    trainable_params = filter(lambda p: p.requires_grad, model.parameters())
    optimizer = optim.Adam(trainable_params, lr=lr)

    for epoch in range(epochs):
        model.train()
        running_loss, correct, total = 0.0, 0, 0
        for images, labels in train_loader:
            images, labels = images.to(device), labels.to(device)
            optimizer.zero_grad()
            outputs = model(images)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()

            running_loss += loss.item() * images.size(0)
            preds = outputs.argmax(dim=1)
            correct += (preds == labels).sum().item()
            total += labels.size(0)

        train_loss = running_loss / total
        train_acc = correct / total

        model.eval()
        val_correct, val_total = 0, 0
        with torch.no_grad():
            for images, labels in val_loader:
                images, labels = images.to(device), labels.to(device)
                outputs = model(images)
                preds = outputs.argmax(dim=1)
                val_correct += (preds == labels).sum().item()
                val_total += labels.size(0)
        val_acc = val_correct / val_total

        print(f"Epoch {epoch+1}/{epochs}: train_loss={train_loss:.4f}, train_acc={train_acc:.4f}, val_acc={val_acc:.4f}")

    return val_acc


print("=== efficientnet_b0 特徴抽出モード ===")
eff_val_acc = train_and_eval(efficientnet_model, epochs=3, lr=0.001)

print(f"efficientnet_b0 最終val_acc: {eff_val_acc:.4f}")
print("（比較対象）resnet18 特徴抽出モード 最終val_acc（Day117実行例）: 0.7412")
# 出力例:
# efficientnet_b0 最終val_acc: 0.7823
# → resnet18特徴抽出モード(0.7412)より高い精度。パラメータ数は1/3弱にもかかわらず
#   精度が上回っており、EfficientNet-B0の「少ないパラメータで効率よく特徴を捉える」
#   設計の効果が特徴抽出モードでも表れている。

📊 実行結果の比較イメージ（パラメータ数・検証accuracy）

模範解答の実行例（実際の数値は初期化・環境により変動します）。

総パラメータ数

検証accuracy（特徴抽出モード・3エポック）

🪜 Step-by-Step 解説

1timm.list_modelsでモデルを検索する

efficientnet_models = timm.list_models("*efficientnet*", pretrained=True)

2num_classesを渡すだけで分類ヘッドが差し替わる

model = timm.create_model("efficientnet_b0", pretrained=True, num_classes=10)

3get_classifier()で分類ヘッドを特定し、それ以外を凍結する

classifier = model.get_classifier()
classifier_param_ids = {id(p) for p in classifier.parameters()}

for param in model.parameters():
    if id(param) not in classifier_param_ids:
        param.requires_grad = False

4パラメータ数をnumel()の合計で数える

def count_params(model, only_trainable=False):
    if only_trainable:
        return sum(p.numel() for p in model.parameters() if p.requires_grad)
    return sum(p.numel() for p in model.parameters())

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 画像認識（CV） / ☐ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: timm.create_model("efficientnet_b0", pretrained=True, num_classes=0)で分類ヘッドなしの特徴抽出器を作り、resnet18の特徴量とefficientnet_b0の特徴量をtorch.catで結合してから1つのnn.Linearに通す簡易アンサンブルを実装し、単独モデルより精度が上がるか確認してみましょう
• 次回予告: Day 119 — Data Augmentation応用（timmのRandAugment・Mixup・CutMix）。今日はモデル側（バックボーン）の選定を扱いましたが、次回はデータ側の工夫として、Kaggleの画像コンペで定番の高度なAugmentation手法を学びます

Phase 5 の学習マップ（全20テーマ予定）

Day 117で転移学習(ResNet)を体験し、Day 118でtimmライブラリによる統一APIとEfficientNetのcompound scalingを学んだ。CVブロック（11-15）は次にAugmentation応用へ進む。

📝 自己評価（解いた後に記入）