Day 074 — EDA体系的手法⑥ — 目的変数の変換（log変換・Box-Cox）

📚 背景知識（読んでから問題へ）

なぜ目的変数を変換するのか？

多くの回帰モデルは目的変数が正規分布に近いことを前提としています。しかし現実の価格データは右に歪んだ分布（正の歪み）になりがちです。

log変換の仕組み

log(x) は「桁数を圧縮する」変換です。10倍の差が一定の差に縮まります。

歪度（Skewness）の判断基準

Box-Cox変換とは？

📊 変換前後の歪度（Skewness）比較

📈 変換効果のイメージ（SVG）

λ Box-Cox の λ（ラムダ）が意味するもの

🗂 使用データのスキーマ

🧩 問題

💡 ヒント

from scipy import stats
import numpy as np

# タスク2: log変換
log_price = np.log1p(df['SalePrice'])
skew_log = log_price.skew()

# タスク3: Box-Cox
bc_price, lambda_ = stats.boxcox(df['SalePrice'])
skew_bc = pd.Series(bc_price).skew()

# タスク4: 一括変換
numeric_feats = df.select_dtypes(include=['number']).columns.drop('SalePrice')
skewed = df[numeric_feats].apply(lambda x: x.skew())
high_skew = skewed[abs(skewed) > 0.75].index
df[high_skew] = np.log1p(df[high_skew])

✅ 模範解答

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
import warnings
warnings.filterwarnings('ignore')

# ─── サンプルデータ生成（実際は train.csv を使用）─────────────────
np.random.seed(42)
n = 1460
sale_price = np.random.lognormal(mean=12.0, sigma=0.4, size=n).clip(34900, 755000)
df = pd.DataFrame({'SalePrice': sale_price})
df['LotArea']    = np.random.lognormal(9.2, 0.5, n).clip(1300, 215245)
df['GrLivArea']  = np.random.lognormal(7.4, 0.3, n).clip(334, 5642)
df['MasVnrArea'] = np.where(np.random.random(n) > 0.4,
                              np.random.lognormal(4.5, 0.8, n).clip(0, 1600), 0)
df['OverallQual'] = np.random.randint(1, 11, n).astype(float)
df['YearBuilt']  = np.random.randint(1872, 2011, n).astype(float)

# ─── タスク1: 歪度・尖度の確認 ──────────────────────────────────
print("=" * 55)
print("タスク1: SalePrice の分布確認")
print("=" * 55)

skew_orig = df['SalePrice'].skew()
kurt_orig = df['SalePrice'].kurt()
print(f"変換前 Skewness : {skew_orig:.3f}")
print(f"変換前 Kurtosis : {kurt_orig:.3f}")

if abs(skew_orig) < 0.5:
    print("→ 分布はほぼ対称。変換は任意。")
elif abs(skew_orig) < 1.0:
    print("→ 中程度の歪み。log変換を検討。")
else:
    print("→ 強い歪み。log変換を推奨。")

# ─── タスク2: log1p 変換 ─────────────────────────────────────────
log_price = np.log1p(df['SalePrice'])
skew_log  = log_price.skew()
print(f"\nlog変換後 Skewness : {skew_log:.3f}")

# 逆変換の確認
reconstructed = np.expm1(log_price)
max_error = np.abs(df['SalePrice'] - reconstructed).max()
print(f"逆変換の最大誤差 : {max_error:.6f}")

# ─── タスク3: Box-Cox 変換 ───────────────────────────────────────
bc_price, lambda_ = stats.boxcox(df['SalePrice'].clip(lower=1))
skew_bc = pd.Series(bc_price).skew()

print(f"\nBox-Cox 最適 λ     : {lambda_:.4f}")
print(f"Box-Cox 後 Skewness: {skew_bc:.3f}")
print(f"\n比較: 変換なし={skew_orig:.3f} | log={skew_log:.3f} | Box-Cox={skew_bc:.3f}")

# ─── タスク4: 特徴量一括変換 ─────────────────────────────────────
numeric_feats = df.select_dtypes(include=['number']).columns.drop('SalePrice')
skewed_feats  = df[numeric_feats].apply(lambda x: x.skew()).sort_values(ascending=False)
high_skew_idx = skewed_feats[abs(skewed_feats) > 0.75].index

df_transformed = df.copy()
df_transformed[high_skew_idx] = np.log1p(df_transformed[high_skew_idx])

print(f"\n変換対象特徴量: {len(high_skew_idx)}個 (|skew| > 0.75)")
for col in high_skew_idx:
    before = df[col].skew()
    after  = df_transformed[col].skew()
    print(f"  {col:20s}: {before:+.3f} → {after:+.3f}")

🔢 Step-by-Step 解説

skew_orig = df['SalePrice'].skew()

log_price = np.log1p(df['SalePrice'])  # log(x + 1)

bc_price, lambda_ = stats.boxcox(df['SalePrice'])

high_skew_idx = skewed_feats[abs(skewed_feats) > 0.75].index
df[high_skew_idx] = np.log1p(df[high_skew_idx])

📐 数学・統計の補足（文系向け）

対数（log）の直感的な理解

「桁数を数える道具」と考えると分かりやすいです。

1万円と100万円の差は「100倍」ですが、log でみると「4 と 6 の差 = 2」。100倍の差が 2 の差に圧縮されます。

Q-Qプロットの読み方

🏆 Kaggleでの実践的な使い方

House Prices コンペ — 定番の前処理パイプライン

# 1. 目的変数の変換
y_train = np.log1p(train['SalePrice'])

# 2. 歪んだ特徴量の一括変換（train と test 両方に同じ変換）
skewed_feats = train.select_dtypes(include=['number']).apply(lambda x: x.skew())
skewed_feats = skewed_feats[abs(skewed_feats) > 0.75].index
train[skewed_feats] = np.log1p(train[skewed_feats])
test[skewed_feats]  = np.log1p(test[skewed_feats])   # ← 同じ列に同じ変換

# 3. モデル学習 → 予測 → 逆変換
model.fit(X_train, y_train)
y_pred = np.expm1(model.predict(X_test))   # ← 必ず expm1 で戻す！

# 4. 評価（KaggleのHouse Prices は RMSLE が評価指標）
# log変換済み空間での RMSE = RMSLE と等価
from sklearn.metrics import mean_squared_error
rmsle = np.sqrt(mean_squared_error(y_val_log, model.predict(X_val)))

実際のコンペでの判断フロー

⚠️ よくある誤解・ミス

🔭 次のステップ

🧠 自己評価（解いた後に記入）