Day 113 — PyTorch入門③ — GPU学習・モデルの保存/読み込み・チェックポイント

📚 背景知識（読んでから問題へ）

⚖️ CPUとGPU、何が違うのか

ニューラルネットの学習の中身は、そのほとんどが「入力ベクトル × 重み行列」という行列の掛け算です。この計算とCPU/GPUの設計思想の相性を比較します。

💾 今日扱うデータ構造: チェックポイント辞書のスキーマ

今日のタスク4で保存する「チェックポイント」は、以下4つのキーを持つ1つの辞書です。これをtorch.save()で丸ごと1ファイルに書き出します。

🎯 問題

💡 ヒント

def get_device():
    if torch.cuda.is_available():
        return torch.device("cuda")
    elif torch.backends.mps.is_available():
        return torch.device("mps")
    else:
        return torch.device("cpu")

device = get_device()
model = HousePriceNet().to(device)

# 保存
torch.save(model.state_dict(), "house_price_model.pth")

# 読み込み
loaded_model = HousePriceNet().to(device)
loaded_model.load_state_dict(torch.load("house_price_model.pth", map_location=device))
loaded_model.eval()

# チェックポイント保存
checkpoint = {
    "epoch": epoch,
    "model_state_dict": model.state_dict(),
    "optimizer_state_dict": optimizer.state_dict(),
    "train_loss": loss.item(),
}
torch.save(checkpoint, f"checkpoint_epoch{epoch}.pth")

✅ 模範解答

タスク1: GPUが速い理由・常には使わない理由

タスク2: device-agnosticなコード

import torch

def get_device():
    if torch.cuda.is_available():
        return torch.device("cuda")
    elif torch.backends.mps.is_available():
        return torch.device("mps")
    else:
        return torch.device("cpu")

device = get_device()
print(device)  # 例: device(type='mps')（M1 Macの場合）/ device(type='cpu')（GPUなし環境）

model = HousePriceNet().to(device)
dummy_input = torch.randn(4, 3).to(device)  # バッチサイズ4、特徴量3個
output = model(dummy_input)
print(output.device)  # モデルと同じdeviceに出力があることを確認

タスク3: モデルの保存と読み込み

import torch

torch.manual_seed(42)
model = HousePriceNet().to(device)
# (本来はDay 112のように学習済みである想定)

# --- 保存 ---
torch.save(model.state_dict(), "house_price_model.pth")

# --- 読み込み ---
loaded_model = HousePriceNet().to(device)
loaded_model.load_state_dict(torch.load("house_price_model.pth", map_location=device))
loaded_model.eval()

# --- 出力が一致することの確認 ---
test_input = torch.tensor([[90.0, 3, 10]], dtype=torch.float32).to(device)
with torch.no_grad():
    out_original = model(test_input)
    out_loaded = loaded_model(test_input)

print(torch.allclose(out_original, out_loaded))  # True

タスク4: チェックポイントを使った学習再開

import torch, os
import torch.nn as nn
from torch.utils.data import DataLoader
from sklearn.model_selection import train_test_split

def save_checkpoint(path, epoch, model, optimizer, train_loss):
    torch.save({
        "epoch": epoch,
        "model_state_dict": model.state_dict(),
        "optimizer_state_dict": optimizer.state_dict(),
        "train_loss": train_loss,
    }, path)

def load_checkpoint(path, model, optimizer, device):
    checkpoint = torch.load(path, map_location=device)
    model.load_state_dict(checkpoint["model_state_dict"])
    optimizer.load_state_dict(checkpoint["optimizer_state_dict"])
    return checkpoint["epoch"], checkpoint["train_loss"]

device = get_device()
train_df, valid_df = train_test_split(df, test_size=40, random_state=42)
train_loader = DataLoader(HouseDataset(train_df), batch_size=32, shuffle=True)
valid_loader = DataLoader(HouseDataset(valid_df), batch_size=32, shuffle=False)

torch.manual_seed(42)
model = HousePriceNet().to(device)
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

start_epoch = 0
if os.path.exists("checkpoint_epoch40.pth"):
    start_epoch, last_loss = load_checkpoint("checkpoint_epoch40.pth", model, optimizer, device)
    print(f"epoch {start_epoch} から再開（train_loss={last_loss:.1f}）")
    start_epoch += 1

for epoch in range(start_epoch, 50):
    model.train()
    train_losses = []
    for batch_X, batch_y in train_loader:
        batch_X, batch_y = batch_X.to(device), batch_y.to(device)
        optimizer.zero_grad()
        pred = model(batch_X)
        loss = criterion(pred, batch_y)
        loss.backward()
        optimizer.step()
        train_losses.append(loss.item())

    avg_train_loss = sum(train_losses) / len(train_losses)

    if (epoch + 1) % 10 == 0:
        save_checkpoint(f"checkpoint_epoch{epoch}.pth", epoch, model, optimizer, avg_train_loss)
        print(f"epoch {epoch:3d}  train_loss={avg_train_loss:9.1f}  → チェックポイント保存")

# 出力例（初回実行時）:
# epoch   9  train_loss= 12043.5  → チェックポイント保存
# epoch  19  train_loss=  7210.8  → チェックポイント保存
# epoch  29  train_loss=  5890.1  → チェックポイント保存
# epoch  39  train_loss=  5210.4  → チェックポイント保存
# epoch  49  train_loss=  4890.7  → チェックポイント保存
#
# （再実行時、checkpoint_epoch40.pthが存在すれば）
# epoch 40 から再開（train_loss=5210.4）

🔗 モデルの保存・復元フロー全体像

📊 GPU高速化のイメージ（概念図）

下の数値はイメージをつかむための概念的な例です（実際の倍率はモデル規模・データ量・GPU種類によって大きく変わります）。「単純作業を並列にこなす」性質が強く出るほど、GPUの優位性が大きくなります。

🪜 Step-by-Step 解説

1get_device() で実行環境を自動判定する

def get_device():
    if torch.cuda.is_available():
        return torch.device("cuda")
    elif torch.backends.mps.is_available():
        return torch.device("mps")
    else:
        return torch.device("cpu")

2モデルとデータを同じdeviceに載せる

model = HousePriceNet().to(device)
batch_X, batch_y = batch_X.to(device), batch_y.to(device)

3state_dict だけを保存する理由

torch.save(model.state_dict(), "house_price_model.pth")

4チェックポイントに「再開に必要な全情報」を詰め込む

checkpoint = {
    "epoch": epoch,
    "model_state_dict": model.state_dict(),
    "optimizer_state_dict": optimizer.state_dict(),
    "train_loss": train_loss,
}

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☑ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: torch.save(model, path)とstate_dict()方式それぞれでファイルを保存し、os.path.getsize()でファイルサイズを比較してみましょう
• 次回予告: Day 114 — CNN入門①（畳み込み・プーリングの直感、画像データの扱い方）。Phase 5の「1-5 DL基礎」を終え、「6-10 NLP」の前に、画像認識（CV）の基礎である畳み込みニューラルネットワーク（CNN）へ進みます

Phase 5 の学習マップ（全20テーマ予定）

本日（Day 113）は「1-5 DL基礎」の最終回。GPU活用とモデル保存/読み込みで、PyTorchの基本装備が一通り揃った。次回からCNN（画像認識）に進む。

📝 自己評価（解いた後に記入）