Day 112 — PyTorch入門② — Dataset・DataLoader・本格的な学習ループ

📚 背景知識（読んでから問題へ）

⚖️ 3つの学習方法の違い

「1回の重み更新にどれだけのデータを使うか」で、勾配降下法は3種類に分かれます。

🏠 使用データ: 疑似House Price（200件）

Day 85で扱ったHouse Priceテーマの簡易版です。面積・部屋数・築年数から価格を予測する回帰タスクとして扱います。

import numpy as np
import pandas as pd

np.random.seed(42)
n = 200
df = pd.DataFrame({
    "area_sqm": np.random.normal(90, 25, n).clip(30, 200),
    "rooms": np.random.randint(1, 6, n),
    "age_years": np.random.randint(0, 40, n),
})
df["price_man_yen"] = (
    df["area_sqm"] * 60 + df["rooms"] * 300 - df["age_years"] * 15
    + np.random.normal(0, 300, n)
).clip(500, None)

🎯 問題

💡 ヒント

class HouseDataset(Dataset):
    def __init__(self, df):
        self.X = torch.tensor(df[["area_sqm", "rooms", "age_years"]].values, dtype=torch.float32)
        self.y = torch.tensor(df[["price_man_yen"]].values, dtype=torch.float32)

    def __len__(self):
        return len(self.X)

    def __getitem__(self, idx):
        return self.X[idx], self.y[idx]

train_df, valid_df = train_test_split(df, test_size=40, random_state=42)
train_loader = DataLoader(HouseDataset(train_df), batch_size=32, shuffle=True)
valid_loader = DataLoader(HouseDataset(valid_df), batch_size=32, shuffle=False)

for epoch in range(50):
    model.train()
    for batch_X, batch_y in train_loader:
        optimizer.zero_grad()
        pred = model(batch_X)
        loss = criterion(pred, batch_y)
        loss.backward()
        optimizer.step()

    model.eval()
    with torch.no_grad():
        valid_losses = [criterion(model(vX), vy).item() for vX, vy in valid_loader]

✅ 模範解答

タスク1: なぜミニバッチが必要か

タスク2: HouseDataset の実装

import torch
from torch.utils.data import Dataset

class HouseDataset(Dataset):
    def __init__(self, df):
        feature_cols = ["area_sqm", "rooms", "age_years"]
        self.X = torch.tensor(df[feature_cols].values, dtype=torch.float32)
        self.y = torch.tensor(df[["price_man_yen"]].values, dtype=torch.float32)

    def __len__(self):
        return len(self.X)

    def __getitem__(self, idx):
        return self.X[idx], self.y[idx]

dataset = HouseDataset(df)
print(len(dataset))          # 200
print(dataset[0])            # (tensor([...3個の特徴量...]), tensor([価格]))

タスク3: DataLoader でミニバッチを確認

from torch.utils.data import DataLoader

loader = DataLoader(dataset, batch_size=32, shuffle=True)

for i, (batch_X, batch_y) in enumerate(loader):
    print(f"batch {i}: X.shape={tuple(batch_X.shape)}  y.shape={tuple(batch_y.shape)}")

# 出力例（200件 ÷ 32 = 6余り8 なので、バッチは7個。最後だけ8件になる）:
# batch 0: X.shape=(32, 3)  y.shape=(32, 1)
# ...
# batch 6: X.shape=(8, 3)   y.shape=(8, 1)

タスク4: train/valid split ＋ 本格的な学習ループ

import torch
import torch.nn as nn
from torch.utils.data import DataLoader
from sklearn.model_selection import train_test_split

train_df, valid_df = train_test_split(df, test_size=40, random_state=42)
train_loader = DataLoader(HouseDataset(train_df), batch_size=32, shuffle=True)
valid_loader = DataLoader(HouseDataset(valid_df), batch_size=32, shuffle=False)

class HousePriceNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(3, 16),
            nn.ReLU(),
            nn.Linear(16, 1),
        )

    def forward(self, x):
        return self.net(x)

torch.manual_seed(42)
model = HousePriceNet()
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

for epoch in range(50):
    model.train()
    train_losses = []
    for batch_X, batch_y in train_loader:
        optimizer.zero_grad()
        pred = model(batch_X)
        loss = criterion(pred, batch_y)
        loss.backward()
        optimizer.step()
        train_losses.append(loss.item())

    model.eval()
    with torch.no_grad():
        valid_losses = [criterion(model(vX), vy).item() for vX, vy in valid_loader]

    if epoch % 10 == 0 or epoch == 49:
        print(f"epoch {epoch:3d}  train_loss={sum(train_losses)/len(train_losses):9.1f}  "
              f"valid_loss={sum(valid_losses)/len(valid_losses):9.1f}")

# 出力例:
# epoch   0  train_loss= 42381.2  valid_loss= 38214.5
# epoch  10  train_loss=  9123.4  valid_loss=  9870.1
# epoch  20  train_loss=  6210.8  valid_loss=  7433.2
# epoch  30  train_loss=  5480.1  valid_loss=  7290.6
# epoch  40  train_loss=  5102.3  valid_loss=  7350.9   ← validが下げ止まる
# epoch  49  train_loss=  4890.7  valid_loss=  7402.5   ← 過学習の兆候

🔗 今日組み立てたパイプライン全体像

📊 学習曲線: trainは下がり続け、validは下げ止まる

50 epochの学習で、10epochごとに記録したtrain/validのMSE lossです。epoch 30あたりからvalidがtrainより下げ止まり、過学習の兆候が現れます。

🪜 Step-by-Step 解説

1Dataset は「データの取り出し方の説明書」

class HouseDataset(Dataset):
    def __init__(self, df): ...
    def __len__(self): return len(self.X)
    def __getitem__(self, idx): return self.X[idx], self.y[idx]

2DataLoader にバッチ化とシャッフルを丸投げする

loader = DataLoader(dataset, batch_size=32, shuffle=True)

3学習ループを「epochループ × バッチループ」の二重構造にする

for epoch in range(50):
    for batch_X, batch_y in train_loader:
        ...  # Day 111の5行の型がそのまま入る

4model.eval() と torch.no_grad() でtrainとvalidを切り分ける

model.eval()
with torch.no_grad():
    valid_losses = [criterion(model(vX), vy).item() for vX, vy in valid_loader]

5train_lossとvalid_lossの推移から過学習を読み取る

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☑ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: batch_sizeを8・32・128と変えて、学習の安定性（loss推移のギザギザ具合）と収束速度がどう変わるか比較してみましょう
• 次回予告: Day 113 — PyTorch入門③（GPU学習・モデルの保存/読み込み・チェックポイント）。今日はCPU上で学習しましたが、Kaggle Notebooksの無料GPUを使うmodel.to('cuda')の書き方と、学習済みモデルをtorch.save/torch.loadで保存・復元する方法を学びます

Phase 5 の学習マップ（全20テーマ予定）

本日（Day 112）は「1-5 DL基礎」の続き。Day 111の学習ループを、実務規模のミニバッチ処理に拡張した。次回はGPU活用とモデル保存へ進む。

📝 自己評価（解いた後に記入）