Day 071 — EDA体系的手法③ — 欠損値パターンの分析と可視化

📚 背景知識（読んでから問題へ）

欠損値EDAの5ステップ

🔍 欠損値の3タイプ（MCAR / MAR / MNAR）

📊 House Prices 欠損率ランキング（上位10変数）

赤(>50%): 施設「なし」を意味する、オレンジ(10-50%): 真の欠損または条件付き、青(<10%): 軽微な欠損

🔗 共欠損パターン — Garage系の同時欠損

Garage系6変数が 同時に 欠損している行数の分布。「施設なし」パターンの証拠。

LotFrontage 欠損フラグ × SalePrice の関係

🗂️ 主要欠損変数のスキーマ

🧩 問題

1 欠損率ランキング（降順）の可視化

欠損を含む全変数について欠損率（%）を計算し降順で表示。水平棒グラフで上位20変数を可視化すること。

2 共欠損パターンの分析

Garage系・Basement系に絞り、「どの行が同時に欠損しているか」を isnull().sum(axis=1) などで分析せよ。

3 欠損フラグと目的変数の関係

LotFrontage（欠損率17.7%）について:

• 欠損フラグ列 LotFrontage_missing（0/1）を作成
• 欠損あり・なしグループで SalePrice の分布を boxplot で比較
• 欠損の有無が価格に影響するかを数値で確認

4 適切な補完戦略の実装

💡 ヒント

# タスク1: 欠損率計算
missing_rate = df.isnull().mean() * 100
missing_rate = missing_rate[missing_rate > 0].sort_values(ascending=False)

# タスク2: Garage系共欠損
garage_cols = [c for c in df.columns if 'Garage' in c]
df[garage_cols].isnull().sum(axis=1).value_counts()

# タスク3: 欠損フラグ
df['LotFrontage_missing'] = df['LotFrontage'].isnull().astype(int)

# タスク4: 補完
df['PoolQC'] = df['PoolQC'].fillna('None')
df['LotFrontage'] = df.groupby('Neighborhood')['LotFrontage'].transform(
    lambda x: x.fillna(x.median())
)

✅ 模範解答

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import matplotlib
matplotlib.rcParams['font.family'] = 'IPAexGothic'  # Colab: !apt install fonts-ipafont

df = pd.read_csv('train.csv')

# ──────────────────────────────────────
# タスク1: 欠損率ランキング（上位20）
# ──────────────────────────────────────
missing_rate = df.isnull().mean() * 100
missing_rate = missing_rate[missing_rate > 0].sort_values(ascending=False)

fig, ax = plt.subplots(figsize=(9, 8))
colors = ['#ef4444' if v > 50 else '#f97316' if v > 10 else '#3b82f6'
          for v in missing_rate.head(20).values]
ax.barh(missing_rate.head(20).index[::-1],
        missing_rate.head(20).values[::-1],
        color=colors[::-1])
ax.set_xlabel('欠損率 (%)')
ax.set_title('欠損率ランキング（上位20変数）')
ax.axvline(50, color='red', linestyle='--', alpha=0.5, label='50%')
ax.axvline(10, color='orange', linestyle='--', alpha=0.5, label='10%')
ax.legend()
plt.tight_layout()
plt.show()

print(f"欠損を含む変数数: {len(missing_rate)} / {df.shape[1]}")
print("\n上位10変数:")
print(missing_rate.head(10).round(1).to_string())

# ──────────────────────────────────────
# タスク2: Garage系の共欠損パターン
# ──────────────────────────────────────
garage_cols = [c for c in df.columns if 'Garage' in c]
basement_cols = [c for c in df.columns if 'Bsmt' in c]

print("\n=== Garage系変数の欠損 ===")
print(df[garage_cols].isnull().sum())

garage_missing_count = df[garage_cols].isnull().sum(axis=1)
print("\nGarage系: 同時欠損変数の数")
print(garage_missing_count.value_counts().sort_index())
# → 「0変数欠損」or「全変数同時欠損」の二極化 = ガレージのMNAR

print("\n=== Basement系変数の欠損 ===")
bsmt_missing_count = df[basement_cols].isnull().sum(axis=1)
print(bsmt_missing_count.value_counts().sort_index())

# ──────────────────────────────────────
# タスク3: LotFrontage の欠損フラグ × SalePrice
# ──────────────────────────────────────
df['LotFrontage_missing'] = df['LotFrontage'].isnull().astype(int)

fig, axes = plt.subplots(1, 2, figsize=(12, 5))

sns.boxplot(x='LotFrontage_missing', y='SalePrice', data=df, ax=axes[0],
            palette={0: '#3b82f6', 1: '#ef4444'})
axes[0].set_xticklabels([
    f'LotFrontage あり\n(n={(df["LotFrontage_missing"]==0).sum()})',
    f'LotFrontage 欠損\n(n={(df["LotFrontage_missing"]==1).sum()})'
])
axes[0].set_title('LotFrontage欠損 vs SalePrice')
axes[0].set_ylabel('SalePrice ($)')

stats = df.groupby('LotFrontage_missing')['SalePrice'].agg(['mean', 'median', 'std'])
stats.index = ['あり', '欠損']
axes[1].axis('off')
table_data = [[idx, f"${row['mean']:,.0f}", f"${row['median']:,.0f}", f"${row['std']:,.0f}"]
              for idx, row in stats.iterrows()]
table = axes[1].table(
    cellText=table_data,
    colLabels=['グループ', '平均', '中央値', '標準偏差'],
    loc='center', cellLoc='center'
)
table.auto_set_font_size(False)
table.set_fontsize(12)
table.scale(1.2, 2.5)
axes[1].set_title('SalePrice統計（欠損フラグ別）')

plt.tight_layout()
plt.show()

missing_mean = df[df['LotFrontage_missing']==1]['SalePrice'].mean()
exist_mean   = df[df['LotFrontage_missing']==0]['SalePrice'].mean()
print(f"LotFrontage欠損グループの平均価格: ${missing_mean:,.0f}")
print(f"LotFrontage存在グループの平均価格: ${exist_mean:,.0f}")
print(f"差: ${exist_mean - missing_mean:,.0f} ({(exist_mean/missing_mean - 1)*100:.1f}%)")

# ──────────────────────────────────────
# タスク4: 補完戦略の実装
# ──────────────────────────────────────

# (a) 施設なし → "None"
for col in ['PoolQC', 'MiscFeature', 'Alley', 'Fence']:
    if col in df.columns:
        df[col] = df[col].fillna('None')

# (b) LotFrontage: Neighborhood別中央値補完
lot_before = df['LotFrontage'].isnull().sum()
df['LotFrontage'] = df.groupby('Neighborhood')['LotFrontage'].transform(
    lambda x: x.fillna(x.median())
)
lot_after = df['LotFrontage'].isnull().sum()
print(f"\nLotFrontage 補完: {lot_before}件 → {lot_after}件 欠損")

# (c) Garage数値列: 0補完
for col in ['GarageYrBlt', 'GarageArea', 'GarageCars']:
    if col in df.columns:
        df[col] = df[col].fillna(0)
# Garageカテゴリ列: "None"補完
for col in ['GarageType', 'GarageFinish', 'GarageQual', 'GarageCond']:
    if col in df.columns:
        df[col] = df[col].fillna('None')

print(f"Garage系 欠損残: {df[garage_cols].isnull().sum().sum()}件")
print("\n最終欠損チェック（上位5）:")
print((df.isnull().mean()*100).sort_values(ascending=False).head())

🪜 Step-by-Step 解説

📐 数学・統計の補足（文系向け）

なぜ「平均」でなく「中央値」で補完するのか？

外れ値があると平均は引っ張られる。

価格や面積のような歪んだ分布では中央値補完が安全。

欠損率と情報価値のトレードオフ

🏆 Kaggleでの実践的な使い方

欠損値EDAのコンペ別チェックリスト

上位解法でよく見るメタ特徴量

# 各行の欠損数をメタ特徴として追加
df['n_missing_total'] = df.isnull().sum(axis=1)

# カテゴリ別欠損数
df['n_missing_garage'] = df[garage_cols].isnull().sum(axis=1)
df['n_missing_bsmt']   = df[basement_cols].isnull().sum(axis=1)

# 欠損フラグをまとめて作成
for col in ['LotFrontage', 'MasVnrArea', 'GarageYrBlt']:
    df[f'{col}_missing'] = df[col].isnull().astype(int)

⚠️ よくある誤解・ミス

🚀 次のステップ

📝 自己評価（解いた後に記入）