Day 115 — CNN入門② — 実データセットでの学習・DataLoader前処理・学習ループ

📚 背景知識（読んでから問題へ）

🧵 前処理パイプライン: 生画像 → 学習可能なTensor

🎯 問題

💡 ヒント

# タスク1: データセットの読み込み
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])
train_dataset = datasets.FashionMNIST(root="./data", train=True, download=True, transform=transform)
test_dataset = datasets.FashionMNIST(root="./data", train=False, download=True, transform=transform)

# タスク2: DataLoader
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)

# タスク3: 学習ループ
model = SimpleCNN()  # Day 114で定義したクラス
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

for epoch in range(3):
    total_loss = 0.0
    for images, labels in train_loader:
        optimizer.zero_grad()
        outputs = model(images)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        total_loss += loss.item()
    print(f"Epoch {epoch+1}: avg_loss={total_loss/len(train_loader):.4f}")

# タスク4: 評価ループ
model.eval()
correct = 0
total = 0
with torch.no_grad():
    for images, labels in test_loader:
        outputs = model(images)
        preds = torch.argmax(outputs, dim=1)
        correct += (preds == labels).sum().item()
        total += labels.size(0)
print(f"accuracy = {correct/total:.4f}")

✅ 模範解答

タスク1: FashionMNISTのロードと前処理

import torch
import torch.nn as nn
from torch.utils.data import DataLoader
from torchvision import datasets, transforms

transform = transforms.Compose([
    transforms.ToTensor(),                    # PIL Image(0~255) → Tensor(0.0~1.0)
    transforms.Normalize((0.5,), (0.5,))      # (x-0.5)/0.5 → 概ね -1.0〜1.0
])

train_dataset = datasets.FashionMNIST(root="./data", train=True, download=True, transform=transform)
test_dataset = datasets.FashionMNIST(root="./data", train=False, download=True, transform=transform)

print(len(train_dataset))  # 60000
image0, label0 = train_dataset[0]
print(image0.shape, label0)  # torch.Size([1, 28, 28]) 9

タスク2: DataLoaderの作成

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)

images, labels = next(iter(train_loader))
print(images.shape)  # torch.Size([64, 1, 28, 28])
print(labels.shape)  # torch.Size([64])

タスク3: 学習ループの実装

# SimpleCNNはDay 114で定義したクラスをそのまま使う
class SimpleCNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 8, kernel_size=3)
        self.conv2 = nn.Conv2d(8, 16, kernel_size=3)
        self.pool = nn.MaxPool2d(2)
        self.relu = nn.ReLU()
        self.flatten = nn.Flatten()
        self.fc = nn.Linear(16 * 5 * 5, 10)

    def forward(self, x):
        x = self.pool(self.relu(self.conv1(x)))
        x = self.pool(self.relu(self.conv2(x)))
        x = self.flatten(x)
        x = self.fc(x)
        return x

model = SimpleCNN()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

for epoch in range(3):
    total_loss = 0.0
    for images, labels in train_loader:
        optimizer.zero_grad()
        outputs = model(images)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        total_loss += loss.item()
    avg_loss = total_loss / len(train_loader)
    print(f"Epoch {epoch+1}: avg_loss={avg_loss:.4f}")

# Epoch 1: avg_loss=0.5721
# Epoch 2: avg_loss=0.3842
# Epoch 3: avg_loss=0.3391
# （実際の値は初期化・環境により変動する）

タスク4: 評価ループとテスト精度の計算

model.eval()
correct = 0
total = 0
with torch.no_grad():
    for images, labels in test_loader:
        outputs = model(images)
        preds = torch.argmax(outputs, dim=1)
        correct += (preds == labels).sum().item()
        total += labels.size(0)

accuracy = correct / total
print(f"accuracy = {accuracy:.4f}")
# accuracy = 0.8734（3エポックのみ・実際の値は変動する）

🔁 学習ループの5ステップ（Day 112の復習＋画像版）

📊 学習結果のイメージ（loss推移・最終精度）

模範解答の実行例（実際の数値は初期化・環境により変動します）。

🪜 Step-by-Step 解説

1transforms.Composeで前処理パイプラインを組む

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])

2datasets.FashionMNISTにtransformを渡す

train_dataset = datasets.FashionMNIST(root="./data", train=True, download=True, transform=transform)

3DataLoaderでミニバッチに分割する

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

4学習ループの5ステップを画像データに適用する

optimizer.zero_grad()
outputs = model(images)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()

5model.eval() + torch.no_grad()で評価する

model.eval()
with torch.no_grad():
    ...

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 画像認識（CV） / ☐ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: nn.CrossEntropyLoss()が内部でSoftmaxを計算していることを確認するために、torch.softmax(outputs, dim=1)を自分で挟んで確率に変換してからargmaxを取っても同じ予測クラスになることを確かめてみましょう
• 次回予告: Day 116 — CNN入門③（Data Augmentation・学習曲線の可視化・過学習の兆候の見つけ方）。今日3エポックで止めた学習をもっと長く回すとどうなるか、Augmentationで精度がどう変わるかを実験します

Phase 5 の学習マップ（全20テーマ予定）

Day 114でCNNの構造を組み、Day 115で実際にFashionMNISTを学習させるところまで到達。Phase 5内ではNLPより先に画像認識（CV）から着手している。

📝 自己評価（解いた後に記入）