Day 069 — EDA体系的手法① — 数値変数の分布・歪度・尖度

📚 背景知識（読んでから問題へ）

EDA（探索的データ分析）とは

Kaggle上位勢はモデル構築よりEDAに時間をかける。「データを理解してから動かす」が上位入賞の鍵。 数値変数のEDAは以下の3つの観点で行う。

📐 歪度（Skewness）— 分布の傾き

歪度は分布の左右非対称の度合いを数値化したもの。

Kaggle での判断基準（歪度スコア）

📊 尖度（Kurtosis）— 分布のとがり具合

📈 House Prices — 歪度ランキング（視覚化）

典型的な House Prices データの数値変数歪度。高いほど変換の恩恵が大きい。

赤: |skew| > 5（要変換） / 橙: |skew| > 3 / 黄: |skew| > 1（変換推奨） / 緑: |skew| ≈ 1 / 青: |skew| < 1

🔄 log1p 変換の効果（前後比較）

np.log1p 変換後の歪度改善を可視化。

🗄️ データスキーマ（House Prices 数値変数）

❓ 問題

House Prices データセット（住宅価格予測）の数値変数を体系的に分析してください。

1. 数値変数の一覧と基本統計量を取得する
2. 歪度（skewness）を全数値変数で計算し、歪度の大きい順に上位10件を表示する
3. 歪度が 1.0 を超える変数に対して対数変換（np.log1p）を適用し、変換前後の歪度を比較する
4. 目的変数 SalePrice の分布を確認し、変換が必要かどうかを判断する

💡 ヒント

ヒント1 — 方向性

DataFrame.skew() メソッドで全数値列の歪度を一括計算できます。まず基本統計量を把握してから歪度の計算に進みましょう。

ヒント2 — アプローチ

• df.select_dtypes(include='number') で数値列だけ選択
• .skew().sort_values(ascending=False) で歪度を降順ソート
• np.log1p(x) は x + 1 の対数（0の値があっても安全）

ヒント3 — コード骨格

Copyimport numpy as np
import pandas as pd

# 数値列の歪度を計算
num_cols = df.select_dtypes(include='number').columns
skewness = df[num_cols].skew().sort_values(ascending=False)
high_skew_cols = skewness[skewness.abs() > 1.0].index

# 対数変換して比較
for col in high_skew_cols:
    before = df[col].skew()
    after  = np.log1p(df[col]).skew()
    print(f"{col:30s} before={before:.2f} → after={after:.2f}")

✅ 模範解答

Copyimport numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

# ── データ準備（House Prices サンプル生成）──────────────────────────
np.random.seed(42)
n = 1460

data = {
    'SalePrice':     np.random.lognormal(mean=12.0, sigma=0.4, size=n),
    'LotArea':       np.random.lognormal(mean=9.2,  sigma=0.5, size=n),
    'GrLivArea':     np.random.lognormal(mean=7.3,  sigma=0.3, size=n),
    'TotalBsmtSF':   np.abs(np.random.lognormal(mean=6.8, sigma=0.6, size=n)),
    'GarageArea':    np.abs(np.random.normal(472, 215, n)),
    'YearBuilt':     np.random.randint(1872, 2011, n).astype(float),
    'OverallQual':   np.random.randint(1, 11, n).astype(float),
    'BedroomAbvGr':  np.random.poisson(2.9, n).astype(float),
    'MasVnrArea':    np.where(np.random.random(n) < 0.6, 0,
                              np.abs(np.random.exponential(200, n))),
    'OpenPorchSF':   np.where(np.random.random(n) < 0.4, 0,
                              np.abs(np.random.exponential(80, n))),
    'PoolArea':      np.where(np.random.random(n) < 0.95, 0,
                              np.abs(np.random.exponential(50, n))),
    'LowQualFinSF':  np.where(np.random.random(n) < 0.97, 0,
                              np.abs(np.random.exponential(30, n))),
    '3SsnPorch':     np.where(np.random.random(n) < 0.98, 0,
                              np.abs(np.random.exponential(20, n))),
    'EnclosedPorch': np.where(np.random.random(n) < 0.85, 0,
                              np.abs(np.random.exponential(60, n))),
    'ScreenPorch':   np.where(np.random.random(n) < 0.90, 0,
                              np.abs(np.random.exponential(40, n))),
}
df = pd.DataFrame(data)

# ── Step 1: 基本統計量 ──────────────────────────────────────────────
print("=" * 60)
print("Step 1: 基本統計量")
print("=" * 60)
print(df.describe().round(2).to_string())

# ── Step 2: 歪度ランキング ──────────────────────────────────────────
print("\n" + "=" * 60)
print("Step 2: 歪度ランキング（上位10件）")
print("=" * 60)
num_cols = df.select_dtypes(include='number').columns
skewness = df[num_cols].skew().sort_values(ascending=False)
print(skewness.head(10).round(3))

# ── Step 3: 対数変換の比較 ─────────────────────────────────────────
print("\n" + "=" * 60)
print("Step 3: 対数変換（|skewness| > 1.0 の変数）")
print("=" * 60)
high_skew_cols = skewness[skewness.abs() > 1.0].index
print(f"{'特徴量':<20} {'変換前':>8} {'変換後':>8} {'改善':>8}")
print("-" * 48)
for col in high_skew_cols:
    before = df[col].skew()
    after  = np.log1p(df[col]).skew()
    improvement = abs(before) - abs(after)
    print(f"{col:<20} {before:>8.2f} {after:>8.2f} {improvement:>8.2f}")

# ── Step 4: SalePrice の分析 ───────────────────────────────────────
print("\n" + "=" * 60)
print("Step 4: SalePrice の分布分析")
print("=" * 60)
sp = df['SalePrice']
print(f"  平均:   {sp.mean():>12,.0f}")
print(f"  中央値: {sp.median():>12,.0f}")
print(f"  歪度:   {sp.skew():>12.3f}")
print(f"  尖度:   {sp.kurtosis():>12.3f}")

log_sp = np.log1p(sp)
print(f"\n  log1p変換後:")
print(f"  平均:   {log_sp.mean():>12.3f}")
print(f"  中央値: {log_sp.median():>12.3f}")
print(f"  歪度:   {log_sp.skew():>12.3f}")
print(f"  尖度:   {log_sp.kurtosis():>12.3f}")

# 正規性検定（Shapiro-Wilk、サンプル数を絞る）
_, p_before = stats.shapiro(sp.sample(50, random_state=42))
_, p_after  = stats.shapiro(log_sp.sample(50, random_state=42))
print(f"\n  Shapiro-Wilk p値（変換前）: {p_before:.4f}")
print(f"  Shapiro-Wilk p値（変換後）: {p_after:.4f}")
print(f"  → log変換により正規性{'改善' if p_after > p_before else '未改善'}")

🪜 Step-by-Step 解説

🔢 数学・統計の補足（文系向け）

歪度の直感的理解

対数変換の直感

「1万円 → 2万円」と「100万円 → 200万円」は倍率は同じ2倍。 でも絶対値の差は1万と100万で100倍違う。
対数を取ると log(2万) - log(1万) = log(2) も log(200万) - log(100万) = log(2) も同じになる。 これがモデルに「比率感覚」を教える効果。

🏆 Kaggleでの実践的な使い方

EDA の標準ワークフロー（Phase 3 の核心）

実際のコンペでの活用例

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: EDA体系的手法② — カテゴリ変数の分布・目的変数との関係（Day 070）
• 次回予告: value_counts() の活用、groupby による目的変数との関係分析、バイオリンプロット・ボックスプロットの読み方
• 実践課題: Kaggle の House Prices データをダウンロードして今日のコードを実際に動かしてみる

📝 自己評価（解いた後に記入）