Day 050 — 評価指標の深掘り（MAE / RMSE / R² / MAPE）

📚 背景知識（読んでから問題へ）

モデルを作ったら「どれくらい良いのか？」を数値で測る必要があります。回帰モデルでは予測値と実際の値の「ズレ」を複数の角度から評価します。

なぜ複数の指標が必要なのか？

1つの指標だけでは「外れ値に弱い」「スケールに依存する」などの弱点が見えません。複数の指標をセットで見ることで、モデルの特性を正確に把握できます。

🃏 評価指標カード

🗂️ データスキーマ（住宅価格データ 500件）

📝 問題

📋 コピーimport pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

np.random.seed(42)
n = 500

area     = np.random.normal(60, 20, n).clip(15, 150).round(0)
rooms    = np.random.randint(1, 7, n).astype(float)
age      = np.random.normal(20, 12, n).clip(0, 60).round(0)
price = (
    5.0 * area + 8.0 * rooms - 1.5 * age + np.random.normal(0, 30, n)
).clip(50, 800).round(0)

df = pd.DataFrame({"area": area, "rooms": rooms, "age": age, "price": price})

問1 — 全指標の計算と比較

• train_test_split で訓練80% / テスト20%に分割（random_state=42）
• 3特徴量（area, rooms, age）で LinearRegression を学習・予測する
• テストデータで MAE, RMSE, R², MAPE をすべて計算・表示する
• MAPEは 手動実装も行い sklearn の結果と一致することを確認する

問2 — 外れ値の影響を観察する

• テストデータに人工的な外れ値を5件追加（price を実際の値の3倍に変換）
• 外れ値追加前後で MAE と RMSE を比較し、どちらが外れ値に敏感かを数値で示す

問3 — 指標の関係を理解する

1. 「RMSE ≥ MAE は常に成り立つ」 → seed 0〜9 の10ケースで全確認
2. 「特徴量数が増えると R² は上がり RMSE は下がる（傾向）」 → 1〜3列で比較表を作成
3. 「MAPE はスケール変換しても変わらない」 → price ÷ 100 した場合と比較

問4 — RMSLE の実装

• 以下の式を自分で実装する: RMSLE = sqrt(mean((log(y_pred+1) - log(y_true+1))²))
• sklearn.metrics.mean_squared_log_error の結果と一致することを確認する
• 「なぜ House Prices コンペで RMSLE が使われるのか」を一文で説明する

🔍 ヒント（段階的開示）

📋 コピーX = df[["area", "rooms", "age"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = LinearRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

mae    = mean_absolute_error(y_test, y_pred)
rmse   = np.sqrt(mean_squared_error(y_test, y_pred))
r2     = r2_score(y_test, y_pred)
mape   = np.mean(np.abs((y_test - y_pred) / y_test)) * 100

📋 コピー# 問2: 外れ値追加
y_test_out = y_test.copy()
outlier_idx = y_test_out.index[:5]
y_test_out.loc[outlier_idx] = y_test_out.loc[outlier_idx] * 3

mae_out  = mean_absolute_error(y_test_out, y_pred)
rmse_out = np.sqrt(mean_squared_error(y_test_out, y_pred))
print(f"MAE  変化: {mae:.1f} → {mae_out:.1f} (×{mae_out/mae:.2f})")
print(f"RMSE 変化: {rmse:.1f} → {rmse_out:.1f} (×{rmse_out/rmse:.2f})")

# 問4: RMSLE
y_pred_clipped = np.clip(y_pred, 0, None)
rmsle_manual  = np.sqrt(np.mean((np.log1p(y_pred_clipped) - np.log1p(y_test.values))**2))
from sklearn.metrics import mean_squared_log_error
rmsle_sklearn = np.sqrt(mean_squared_log_error(y_test, y_pred_clipped))

✅ 模範解答

📋 コピーimport pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import (
    mean_absolute_error, mean_squared_error, r2_score,
    mean_absolute_percentage_error, mean_squared_log_error
)

np.random.seed(42)
n = 500
area     = np.random.normal(60, 20, n).clip(15, 150).round(0)
rooms    = np.random.randint(1, 7, n).astype(float)
age      = np.random.normal(20, 12, n).clip(0, 60).round(0)
price    = (5.0*area + 8.0*rooms - 1.5*age + np.random.normal(0,30,n)).clip(50,800).round(0)
df = pd.DataFrame({"area": area, "rooms": rooms, "age": age, "price": price})

X = df[["area", "rooms", "age"]]
y = df["price"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = LinearRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

# ── 問1 ──
mae       = mean_absolute_error(y_test, y_pred)
rmse      = np.sqrt(mean_squared_error(y_test, y_pred))
r2        = r2_score(y_test, y_pred)
mape_sk   = mean_absolute_percentage_error(y_test, y_pred) * 100
mape_man  = np.mean(np.abs((y_test - y_pred) / y_test)) * 100

print(f"MAE : {mae:.2f} 万円")
print(f"RMSE: {rmse:.2f} 万円")
print(f"R²  : {r2:.4f}")
print(f"MAPE(sklearn): {mape_sk:.2f}%  MAPE(手動): {mape_man:.2f}%")

# ── 問2 ──
y_test_out = y_test.copy()
y_test_out.loc[y_test_out.index[:5]] *= 3
mae_out  = mean_absolute_error(y_test_out, y_pred)
rmse_out = np.sqrt(mean_squared_error(y_test_out, y_pred))
print(f"MAE  変化: {mae:.1f} → {mae_out:.1f} (×{mae_out/mae:.2f})")
print(f"RMSE 変化: {rmse:.1f} → {rmse_out:.1f} (×{rmse_out/rmse:.2f})")

# ── 問3-1 ──
for seed in range(10):
    Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.2, random_state=seed)
    m = LinearRegression().fit(Xtr, ytr)
    yp = m.predict(Xte)
    _mae, _rmse = mean_absolute_error(yte,yp), np.sqrt(mean_squared_error(yte,yp))
    print(f"seed={seed}: MAE={_mae:.2f}, RMSE={_rmse:.2f}, RMSE>=MAE={_rmse>=_mae}")

# ── 問3-2 ──
for feats in [["area"], ["area","rooms"], ["area","rooms","age"]]:
    Xf = df[feats]
    Xtr, Xte, ytr, yte = train_test_split(Xf, y, test_size=0.2, random_state=42)
    m = LinearRegression().fit(Xtr, ytr)
    yp = m.predict(Xte)
    print(f"{feats}: R²={r2_score(yte,yp):.4f}, RMSE={np.sqrt(mean_squared_error(yte,yp)):.2f}")

# ── 問3-3 ──
mape_orig  = mean_absolute_percentage_error(y_test, y_pred) * 100
mape_scale = mean_absolute_percentage_error(y_test/100, y_pred/100) * 100
print(f"元スケール MAPE: {mape_orig:.4f}%  ÷100スケール MAPE: {mape_scale:.4f}%")

# ── 問4 ──
ypc = np.clip(y_pred, 0, None)
rmsle_manual  = np.sqrt(np.mean((np.log1p(ypc) - np.log1p(y_test.values))**2))
rmsle_sklearn = np.sqrt(mean_squared_log_error(y_test, ypc))
print(f"RMSLE 手動={rmsle_manual:.6f}  sklearn={rmsle_sklearn:.6f}")
print(f"House Prices 理由: 価格の分布が右スキューのため、相対誤差を均等評価するlog変換が適切")

⚡ 外れ値の影響（MAE vs RMSE）

テストデータ 5件の price を3倍にしたとき、各指標がどれだけ変化するか。

📊 評価指標の比較チャート

特徴量数と R² / RMSE の関係

MAPE のスケール不変性

🪜 Step-by-Step 解説

1 sklearn の指標関数と手動実装の対応

📋 コピーfrom sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# MAE: sklearn vs 手動
mae_sk  = mean_absolute_error(y_true, y_pred)
mae_man = np.mean(np.abs(y_true - y_pred))

# RMSE: sklearn vs 手動
rmse_sk  = np.sqrt(mean_squared_error(y_true, y_pred))
rmse_man = np.sqrt(np.mean((y_true - y_pred)**2))

# MAPE: sklearn vs 手動（× 100 で % に）
from sklearn.metrics import mean_absolute_percentage_error
mape_sk  = mean_absolute_percentage_error(y_true, y_pred) * 100
mape_man = np.mean(np.abs((y_true - y_pred) / y_true)) * 100

sklearn の mean_absolute_percentage_error は 0〜1 の範囲で返ってくるため、× 100 して % に変換します。

2 外れ値を人工的に追加する方法

📋 コピー# 元のデータをコピーしてから変更（元データを保護）
y_test_out = y_test.copy()

# index の最初の5件を3倍にする
outlier_idx = y_test_out.index[:5]
y_test_out.loc[outlier_idx] = y_test_out.loc[outlier_idx] * 3

# 変更後で評価
mae_out  = mean_absolute_error(y_test_out, y_pred)
rmse_out = np.sqrt(mean_squared_error(y_test_out, y_pred))

.copy() を忘れると元の y_test も変更されます。pandas はビューとコピーを自動で判断するため、明示的に .copy() を呼ぶ習慣を付けましょう。

3 RMSE ≥ MAE の数学的証明（直感版）

📋 コピー# シミュレーションで確認
errors = np.array([10, 10, 10, 10])      # 均一な誤差
mae  = np.mean(np.abs(errors))           # → 10
rmse = np.sqrt(np.mean(errors**2))       # → 10  ← 均一ならMAE=RMSE

errors_var = np.array([2, 5, 10, 30])   # ばらつきある誤差
mae_v  = np.mean(np.abs(errors_var))    # → 11.75
rmse_v = np.sqrt(np.mean(errors_var**2))# → 16.2 > 11.75

誤差が均一なら MAE = RMSE。ばらつき（特に大きな外れ値）があると RMSE > MAE になります。

4 RMSLE の実装と使い所

📋 コピー# RMSLE の手動実装
y_pred_clipped = np.clip(y_pred, 0, None)  # 負の予測を防ぐ
rmsle = np.sqrt(np.mean(
    (np.log1p(y_pred_clipped) - np.log1p(y_test.values))**2
))

# 対数変換してから RMSE を最小化する学習パターン（Kaggle頻出）
y_train_log = np.log1p(y_train)
model_log = LinearRegression().fit(X_train, y_train_log)
y_pred_log = model_log.predict(X_test)
y_pred_original = np.expm1(y_pred_log)  # log1p の逆変換

np.log1p(x) は log(x+1) と同じ。+1 する理由は 0 のときに log(0)=-∞ になるのを防ぐためです。

🔢 数学・統計の補足（文系向け）

MAE と RMSE の違いを「点数」で理解する

R² の直感的な意味

📋 コピー# R² の計算式
# SS_res = 残差の二乗和（モデルの誤差）
# SS_tot = 全分散の二乗和（データのバラつき）
# R² = 1 - SS_res / SS_tot

# → 0の基準: モデル = "全部の平均値を予測" と同じ精度
# → R²=0.96: データのバラつきの96%をモデルが説明できた

RMSLE が right-skewed データに強い理由

住宅価格は「200万円の物件〜3億円の物件」と幅が広い。普通の RMSE だと 3億円の物件の誤差が支配的になる。log 変換すると大きな値の差が縮まり、小さな値の差が相対的に重視されます。

🏆 Kaggleでの実践的な使い方

📋 コピー# House Prices 対応パターン（RMSLE を最小化）
import numpy as np
from sklearn.linear_model import LinearRegression

# log変換してから学習
y_train_log = np.log1p(y_train)
model = LinearRegression()
model.fit(X_train, y_train_log)

# 予測して逆変換
y_pred_log   = model.predict(X_test)
y_pred_final = np.expm1(y_pred_log)  # np.expm1 = exp(x)-1（np.log1p の逆）

# RMSLE を評価
from sklearn.metrics import mean_squared_log_error
rmsle = np.sqrt(mean_squared_log_error(y_test, y_pred_final.clip(0)))
print(f"RMSLE: {rmsle:.4f}")

# Kaggle 標準: cross_val_score でCV評価
from sklearn.model_selection import cross_val_score
cv_scores = cross_val_score(
    LinearRegression(), X, np.log1p(y),
    cv=5, scoring="neg_root_mean_squared_error"
)
print(f"CV RMSE (log): {-cv_scores.mean():.4f} ± {cv_scores.std():.4f}")

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: cross_val_score を使って、単一のテスト分割より信頼性の高い CV 評価を実施する。scoring="neg_mean_absolute_error" など各指標に対応したスコアリング文字列を習得する
• 次回予告 (Day 051): 交差検証の基礎（K-Fold CV・Stratified K-Fold・CV の正しい使い方）— Kaggle上位勢が全員使う「データ分割戦略」の核心へ

📋 自己評価（解いた後に記入）