Day 121 — 時系列ディープラーニング入門 — LSTM

📚 背景知識（読んでから問題へ）

LSTMの3つのゲート — 「メモ帳」と「ふるい」

🔍 RNN vs LSTM — 情報の伝わり方の違い

RNNは隠れ状態の掛け算の繰り返しで遠い過去の情報が薄れやすいのに対し、LSTMはセル状態という別経路を持ち、ゲートが「残す」と判断した情報は加算的に伝わるため長期依存を保持しやすい。

🎯 問題

架空の店舗の日次売上データ180日分（トレンド + 週次の季節性 + ノイズ）が与えられます。

import numpy as np
import pandas as pd

np.random.seed(42)
days = np.arange(180)
trend = days * 0.5                              # ゆるやかな右肩上がり
weekly_seasonality = 15 * np.sin(2 * np.pi * days / 7)  # 週次の周期パターン
noise = np.random.normal(0, 5, size=180)
sales = 100 + trend + weekly_seasonality + noise

df = pd.DataFrame({"day": days, "sales": sales})

💡 ヒント

import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader

class SlidingWindowDataset(Dataset):
    def __init__(self, series, window_size):
        self.series = series
        self.window_size = window_size

    def __len__(self):
        return len(self.series) - self.window_size

    def __getitem__(self, idx):
        x = self.series[idx : idx + self.window_size]
        y = self.series[idx + self.window_size]
        # Tensor化して返す（xはLSTM用に(seq_len, 1)の形にする）
        ...

class LSTMForecaster(nn.Module):
    def __init__(self, input_size=1, hidden_size=32, num_layers=1):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, 1)

    def forward(self, x):
        out, (h_n, c_n) = self.lstm(x)
        last_step = out[:, -1, :]
        return self.fc(last_step).squeeze(-1)

✅ 模範解答

タスク1: なぜLSTMは長期的な週次パターンを捉えやすいか（解答例）

タスク2: LSTMForecasterの実装と評価

import numpy as np
import pandas as pd
import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader

torch.manual_seed(0)

# --- サンプルデータ生成 ---
np.random.seed(42)
days = np.arange(180)
trend = days * 0.5
weekly_seasonality = 15 * np.sin(2 * np.pi * days / 7)
noise = np.random.normal(0, 5, size=180)
sales = 100 + trend + weekly_seasonality + noise
df = pd.DataFrame({"day": days, "sales": sales})

WINDOW_SIZE = 14
TRAIN_LEN = 140  # 先頭140日分をtrainの元データとして使う

# --- ステップ1: 標準化（train部分だけから統計量を計算する） ---
train_raw = df["sales"].values[:TRAIN_LEN]
mean, std = train_raw.mean(), train_raw.std()
sales_scaled = (df["sales"].values - mean) / std  # train統計量でtrain/val全体を変換

# --- ステップ2: Sliding Window Dataset ---
class SlidingWindowDataset(Dataset):
    def __init__(self, series, window_size):
        self.series = series
        self.window_size = window_size

    def __len__(self):
        return len(self.series) - self.window_size

    def __getitem__(self, idx):
        x = self.series[idx : idx + self.window_size]
        y = self.series[idx + self.window_size]
        x = torch.tensor(x, dtype=torch.float32).unsqueeze(-1)  # (window_size, 1)
        y = torch.tensor(y, dtype=torch.float32)
        return x, y

# --- ステップ3: 時系列順にtrain/valを分割（シャッフルしない） ---
train_series = sales_scaled[:TRAIN_LEN]
val_series = sales_scaled[TRAIN_LEN - WINDOW_SIZE:]  # valの最初の窓がtrain終端に食い込むよう継ぎ目を含める

train_dataset = SlidingWindowDataset(train_series, WINDOW_SIZE)
val_dataset = SlidingWindowDataset(val_series, WINDOW_SIZE)

train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True)   # サンプルの並び順はシャッフルしてよい
val_loader = DataLoader(val_dataset, batch_size=16, shuffle=False)

# --- ステップ4: LSTMモデル ---
class LSTMForecaster(nn.Module):
    def __init__(self, input_size=1, hidden_size=32, num_layers=1):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, 1)

    def forward(self, x):
        out, (h_n, c_n) = self.lstm(x)      # out: (batch, seq_len, hidden_size)
        last_step = out[:, -1, :]           # 最後のタイムステップの隠れ状態だけ使う
        return self.fc(last_step).squeeze(-1)

model = LSTMForecaster(hidden_size=32, num_layers=1)
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

# --- ステップ5: 学習ループ ---
for epoch in range(50):
    model.train()
    for x, y in train_loader:
        optimizer.zero_grad()
        pred = model(x)
        loss = criterion(pred, y)
        loss.backward()
        optimizer.step()

# --- ステップ6: val RMSE（標準化前のスケールに戻して評価） ---
model.eval()
preds, trues = [], []
with torch.no_grad():
    for x, y in val_loader:
        pred = model(x)
        preds.append(pred.numpy())
        trues.append(y.numpy())
preds = np.concatenate(preds) * std + mean   # 標準化を逆変換して元のスケールに戻す
trues = np.concatenate(trues) * std + mean
lstm_rmse = np.sqrt(np.mean((preds - trues) ** 2))

# --- ナイーブベースライン: y_pred[t] = y[t-1] ---
val_raw = df["sales"].values[TRAIN_LEN:]
prev_raw = df["sales"].values[TRAIN_LEN - 1 : -1][-len(val_raw):]
naive_rmse = np.sqrt(np.mean((val_raw - prev_raw) ** 2))

print(f"LSTM  val RMSE : {lstm_rmse:.3f}")
print(f"Naive val RMSE : {naive_rmse:.3f}")
# 出力例:
# LSTM  val RMSE : 6.8xx
# Naive val RMSE : 15.1xx
# → 週次季節性がある系列では、「1つ前の値をそのまま使う」ナイーブ予測は
#   周期の谷/山をそのまま外してしまうため誤差が大きくなりやすく、
#   14日分の文脈を見ているLSTMの方が明確に精度が高くなりやすい。

📊 RMSE比較の可視化（val、値が小さいほど良い）

🪜 Step-by-Step 解説

1標準化はtrainの統計量だけで行う

train_raw = df["sales"].values[:TRAIN_LEN]
mean, std = train_raw.mean(), train_raw.std()
sales_scaled = (df["sales"].values - mean) / std

2Sliding Windowで「過去14日→翌日」のペアを大量に作る

def __getitem__(self, idx):
    x = self.series[idx : idx + self.window_size]
    y = self.series[idx + self.window_size]

3out[:, -1, :]で「最後まで読んだ時点の要約」だけを使う

out, (h_n, c_n) = self.lstm(x)
last_step = out[:, -1, :]

4ナイーブベースラインとの比較で「本当に役に立っているか」を確認する

naive_rmse = np.sqrt(np.mean((val_raw - prev_raw) ** 2))

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☐ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 画像認識（CV） / ☑ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: window_sizeを7・14・28と変えて学習し直し、val RMSEがどう変化するか比較してみましょう。またnum_layers=2にしたりhidden_sizeを増減させたりして、モデルの表現力とval RMSEの関係も観察してみると、Day116で学んだ「過学習の兆候」が時系列モデルでも同じように現れるかを確認できます
• 次回予告: Day 122 — Prophet入門。今日のLSTM（ニューラルネットワークで時間の流れを直接扱うアプローチ）に続き、次回はMeta（旧Facebook）が開発した時系列予測ライブラリProphetを扱います。トレンド・季節性・祝日効果を明示的に分解して予測する、LSTMとはまた違う設計思想のアプローチを学びます

Phase 5 の学習マップ（全20テーマ予定）

Day114〜120でCVブロックが完了し、Day121から時系列ブロック（16-18: LSTM・Prophet・Temporal Fusion Transformer）が始まった。今日はその1本目、LSTMの基礎とSliding Window実装を学んだ。

📝 自己評価（解いた後に記入）