Day 072 — EDA体系的手法④ — 外れ値の検出と処理戦略

📚 背景知識（読んでから問題へ）

外れ値を無視して学習させると、モデルが異常値に引っ張られて汎化性能が落ちる。一方、無闇に削除するとシグナルを失う。House Prices コンペでは特定の外れ値が「削除推奨」とコンペ公式discussionに明記されている稀なケースがあるほど、外れ値分析は重要。

🔍 外れ値の3タイプ

🛠 検出手法の比較

📊 IQR法のイメージ図（SVG）

📈 対数変換前後の歪度（SalePrice）

歪度（Skewness）は分布の非対称さを示す指標。0に近いほど正規分布に近い。

🗂 データスキーマ（使用変数）

🧩 問題

💡 ヒント

Q1 = df['GrLivArea'].quantile(0.25)
Q3 = df['GrLivArea'].quantile(0.75)
IQR = Q3 - Q1
lower = Q1 - 1.5 * IQR
upper = Q3 + 1.5 * IQR

for col in ['GrLivArea', 'SalePrice']:
    Q1 = df[col].quantile(0.25)
    Q3 = df[col].quantile(0.75)
    IQR = Q3 - Q1
    lower = Q1 - 1.5 * IQR
    upper = Q3 + 1.5 * IQR
    df[f'{col}_outlier'] = ((df[col] < lower) | (df[col] > upper)).astype(int)

# 散布図
mask = df['GrLivArea_outlier'] == 1
ax.scatter(df.loc[~mask, 'GrLivArea'], df.loc[~mask, 'SalePrice'], alpha=0.4, label='通常')
ax.scatter(df.loc[mask, 'GrLivArea'], df.loc[mask, 'SalePrice'], color='red', label='外れ値')

# 対数変換
df['SalePrice_log'] = np.log1p(df['SalePrice'])
print(df['SalePrice'].skew(), df['SalePrice_log'].skew())

✅ 模範解答

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_csv('train.csv')
print(f"データ形状: {df.shape}")

# ─── タスク1: IQR法で外れ値フラグ ───
def add_iqr_outlier_flag(df, col):
    Q1 = df[col].quantile(0.25)
    Q3 = df[col].quantile(0.75)
    IQR = Q3 - Q1
    lower = Q1 - 1.5 * IQR
    upper = Q3 + 1.5 * IQR
    flag = ((df[col] < lower) | (df[col] > upper)).astype(int)
    print(f"\n{col}:")
    print(f"  Q1={Q1:.1f}, Q3={Q3:.1f}, IQR={IQR:.1f}")
    print(f"  下限={lower:.1f}, 上限={upper:.1f}")
    print(f"  外れ値数: {flag.sum()} / {len(df)} ({flag.mean()*100:.1f}%)")
    return flag

df['GrLivArea_outlier'] = add_iqr_outlier_flag(df, 'GrLivArea')
df['SalePrice_outlier'] = add_iqr_outlier_flag(df, 'SalePrice')

# ─── タスク2: 散布図（外れ値を赤色） ───
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

for ax, col_flag, title in [
    (axes[0], 'GrLivArea_outlier', 'GrLivArea外れ値'),
    (axes[1], 'SalePrice_outlier', 'SalePrice外れ値'),
]:
    mask = df[col_flag] == 1
    ax.scatter(df.loc[~mask, 'GrLivArea'], df.loc[~mask, 'SalePrice'],
               alpha=0.3, color='steelblue', s=12, label='通常値')
    ax.scatter(df.loc[mask, 'GrLivArea'], df.loc[mask, 'SalePrice'],
               alpha=0.8, color='red', s=40, label=f'外れ値 (n={mask.sum()})')
    ax.set_xlabel('GrLivArea')
    ax.set_ylabel('SalePrice')
    ax.set_title(title)
    ax.legend()

plt.tight_layout()
plt.show()

# ─── タスク3: 外れ値 × SalePrice中央値 ───
print("\n─── GrLivArea外れ値 × SalePrice中央値 ───")
median_cmp = df.groupby('GrLivArea_outlier')['SalePrice'].agg(['median', 'count'])
median_cmp.index = ['通常値', '外れ値']
print(median_cmp)

# ─── タスク4: 対数変換の効果 ───
df['SalePrice_log'] = np.log1p(df['SalePrice'])

fig, axes = plt.subplots(1, 2, figsize=(12, 4))
skew_raw = df['SalePrice'].skew()
skew_log = df['SalePrice_log'].skew()

axes[0].hist(df['SalePrice'], bins=50, color='steelblue', alpha=0.7)
axes[0].set_title(f'SalePrice\n歪度 = {skew_raw:.3f}')

axes[1].hist(df['SalePrice_log'], bins=50, color='mediumpurple', alpha=0.7)
axes[1].set_title(f'log(SalePrice+1)\n歪度 = {skew_log:.3f}')

plt.tight_layout()
plt.show()

print(f"\nSalePrice 歪度: {skew_raw:.3f}")
print(f"log(SalePrice+1) 歪度: {skew_log:.3f}")
print(f"→ 対数変換で歪度が {abs(skew_raw - skew_log):.3f} 改善")

🪜 Step-by-Step 解説

📐 数学・統計の補足（文系向け）

歪度（Skewness）とは？

歪度はデータの分布が「どちらに傾いているか」を数値化したもの：

🏆 Kaggleでの実践的な使い方

House Prices コンペの勝ちパターン

from scipy import stats
df['LotArea_bc'], _ = stats.boxcox(df['LotArea'] + 1)

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: Box-Cox変換・Yeo-Johnson変換（負の値も扱える対数変換の亜種）
• 次回予告: EDA体系的手法⑤ — 相関行列と多重共線性の検出・VIF計算

📝 自己評価