Day 085 — House Prices EDA — 回帰コンペの特徴量工学入門

📚 背景知識（読んでから問題へ）

House Prices コンペとは？

アメリカ・アイオワ州エイムズの住宅データから販売価格（SalePrice）を予測する Getting Started 系コンペです。81個の特徴量と評価指標 RMSLE が特徴的です。

なぜ SalePrice を対数変換するのか？

住宅価格の分布は「右に引っ張られた（右裾が長い）」形です。高価な家が少数ながらスコアに大きく影響するため、log1p(SalePrice) を予測することで分布を正規分布に近づけます。

🗂️ データスキーマ — House Prices（主要カラム）

81変数のうち特徴量工学で重要な主要カラムを抜粋

🎯 問題

📊 SalePrice の歪度 — log 変換の効果

歪度（Skewness）が 0 に近いほど正規分布に近い。|1| を超えたら変換を検討

📈 SalePrice(log) との相関係数 トップ10（参考値）

特徴量エンジニアリング後の典型的な相関ランキング

💡 ヒント

# 合計床面積
df['TotalSF'] = df['1stFlrSF'] + df['2ndFlrSF'] + df['TotalBsmtSF']

# 欠損値補完: LotFrontage はご近所の中央値で
df['LotFrontage'] = df.groupby('Neighborhood')['LotFrontage'] \
                      .transform(lambda x: x.fillna(x.median()))

# 相関ランキング
corr = df.select_dtypes(include='number').corr()['SalePrice'] \
         .drop('SalePrice').abs().sort_values(ascending=False)
print(corr.head(10))

✅ 模範解答

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

# ── 0. データ読み込み ──────────────────────────────────────
try:
    train = pd.read_csv('/kaggle/input/house-prices-advanced-regression-techniques/train.csv')
except FileNotFoundError:
    # サンプルデータで代替（実際はKaggleからダウンロード）
    np.random.seed(42)
    n = 1460
    train = pd.DataFrame({
        'SalePrice':   np.random.lognormal(12.0, 0.4, n).astype(int),
        '1stFlrSF':    np.random.randint(400, 2000, n),
        '2ndFlrSF':    np.random.choice([0, 0, 0, 500, 800, 1200], n),
        'TotalBsmtSF': np.random.randint(0, 1500, n),
        'YrSold':      np.random.choice([2006,2007,2008,2009,2010], n),
        'YearBuilt':   np.random.randint(1900, 2010, n),
        'YearRemodAdd': np.random.randint(1950, 2010, n),
        'FullBath':    np.random.choice([1,2,3], n),
        'HalfBath':    np.random.choice([0,1], n),
        'BsmtFullBath': np.random.choice([0,1], n),
        'BsmtHalfBath': np.random.choice([0,1], n),
        'GarageArea':  np.random.choice([0, 0, 300, 500, 600, 800], n),
        'GarageType':  np.random.choice(['Attchd', 'Detchd', np.nan, np.nan], n),
        'PoolQC':      np.random.choice([np.nan, np.nan, np.nan, 'Gd', 'Ex'], n),
        'LotFrontage': np.where(np.random.random(n) < 0.18, np.nan,
                              np.random.randint(21, 130, n).astype(float)),
        'Neighborhood': np.random.choice(['NAmes','CollgCr','OldTown','Edwards','Somerst'], n),
        'OverallQual': np.random.randint(1, 11, n),
        'GrLivArea':   np.random.randint(400, 3000, n),
    })

# ── タスク1: SalePrice の歪度確認と対数変換 ────────────────
skewness_before = train['SalePrice'].skew()
skewness_after  = np.log1p(train['SalePrice']).skew()
print(f"元の歪度: {skewness_before:.4f}  →  log1p後: {skewness_after:.4f}")

fig, axes = plt.subplots(1, 2, figsize=(12, 4))
axes[0].hist(train['SalePrice'], bins=50, color='#dc2626', alpha=0.8)
axes[0].set_title(f'SalePrice（歪度={skewness_before:.2f}）')
axes[1].hist(np.log1p(train['SalePrice']), bins=50, color='#16a34a', alpha=0.8)
axes[1].set_title(f'log1p(SalePrice)（歪度={skewness_after:.2f}）')
plt.tight_layout()
plt.show()

# ── タスク2: 特徴量エンジニアリング ─────────────────────────
df = train.copy()
df['TotalSF']    = df['1stFlrSF'] + df['2ndFlrSF'] + df['TotalBsmtSF']
df['HouseAge']   = df['YrSold'] - df['YearBuilt']
df['RemodelAge'] = df['YrSold'] - df['YearRemodAdd']
df['TotalBath']  = (df['FullBath'] + df['BsmtFullBath']
                     + 0.5 * df['HalfBath'] + 0.5 * df['BsmtHalfBath'])
df['HasGarage']  = (df['GarageArea'] > 0).astype(int)

# ── タスク3: 意味のある欠損値補完 ──────────────────────────
df['GarageType'] = df['GarageType'].fillna('None')
df['PoolQC']     = df['PoolQC'].fillna('None')
df['LotFrontage'] = df.groupby('Neighborhood')['LotFrontage'] \
                       .transform(lambda x: x.fillna(x.median()))

# ── タスク4: 相関係数トップ10 ─────────────────────────────
num_df = df.select_dtypes(include='number').copy()
num_df['SalePrice_log'] = np.log1p(df['SalePrice'])
corr_series = num_df.corr()['SalePrice_log'].drop('SalePrice_log')
corr_top10  = corr_series.abs().sort_values(ascending=False).head(10)

fig, ax = plt.subplots(figsize=(10, 5))
colors = ['#16a34a' if corr_series[f] >= 0 else '#dc2626'
          for f in corr_top10.index]
ax.barh(corr_top10.index[::-1], corr_top10.values[::-1],
        color=colors[::-1], alpha=0.85)
ax.set_xlabel('|相関係数|（対 log(SalePrice)）')
ax.set_title('House Prices: SalePrice との相関トップ10')
ax.axvline(x=0.5, color='#fbbf24', linestyle='--', alpha=0.6)
plt.tight_layout()
plt.show()

🪜 Step-by-Step 解説

1 なぜ SalePrice を対数変換するのか

skewness_before = train['SalePrice'].skew()  # → ≈ 1.88（右裾が長い）
skewness_after  = np.log1p(train['SalePrice']).skew()  # → ≈ 0.12

歪度（skewness） = 分布の非対称さを数値で表したもの。0 に近い → 左右対称（正規分布に近い）。1以上 → 右裾が長い → 対数変換が有効です。

2 TotalSF が最強の特徴量になる理由

df['TotalSF'] = df['1stFlrSF'] + df['2ndFlrSF'] + df['TotalBsmtSF']

元データでは床面積が3変数に分かれています。これを合計することで「家全体の広さ」を1変数で表現でき、SalePrice との相関が上がります。部分より全体が価格と相関するという直感通りの結果です。

3 欠損値は「情報」として使う

df['GarageType'] = df['GarageType'].fillna('None')
df['PoolQC']     = df['PoolQC'].fillna('None')

GarageType が NaN = そもそもガレージがない家 → 'None' という有意なカテゴリとして使えます。単純に削除や中央値補完するより情報を保持できます。

4 LotFrontage のグループ補完

df['LotFrontage'] = df.groupby('Neighborhood')['LotFrontage'] \
                       .transform(lambda x: x.fillna(x.median()))

同じ地区（Neighborhood）の家は街路幅（LotFrontage）が似ています。全体の中央値より「同じ地区の中央値」で補完する方が精度が高くなります。これをグループ統計補完と呼び、Kaggle では頻繁に使われる定石テクニックです。

📐 数学・統計の補足（文系向け）— RMSLE とは何か？

RMSLE = Root Mean Squared Log Error：「対数空間での誤差の二乗平均平方根」

相関係数の強さの目安

🏆 Kaggleでの実践的な使い方

⚠️ よくある誤解・ミス

🚀 次のステップ

📝 自己評価（解いた後に記入）