Day 070 — EDA体系的手法② — カテゴリ変数の分布・目的変数との関係

📚 背景知識（読んでから問題へ）

カテゴリ変数EDAの3ステップ

🔢 カーディナリティ（ユニーク値の数）

House Prices のカテゴリ変数カーディナリティ一覧。高いほど OHE は危険。

⚙️ エンコーディング戦略の決定木

🏘️ Neighborhood 別 SalePrice 中央値（上位 / 下位）

同じ床面積・品質でも地区で価格が大きく変わる。最高地区 vs 最低地区で約3〜4倍の差。

📊 OverallQual × SalePrice — 品質スコアと価格の関係

品質スコア（1〜10）ごとのSalePrice中央値。単調増加なら Ordinal Encoding が有効。

🗄️ データスキーマ（House Prices カテゴリ変数）

❓ 問題

House Prices データセットのカテゴリ変数を体系的に分析してください。

1. カテゴリ変数（object 型）を全て抽出し、カーディナリティ（ユニーク数）を降順で表示する
2. カーディナリティが高い変数（ユニーク数 > 10）と低い変数（≤ 10）を分類する
3. Neighborhood（近隣地区）ごとの SalePrice の中央値を計算し、価格差の大きい上位5地区・下位5地区を表示する
4. OverallQual（総合品質）と SalePrice の関係を groupby で分析し、品質スコアが上がるにつれて価格がどう変わるかを確認する
5. 出現頻度が 5件以下の希少カテゴリを持つ変数とその希少カテゴリを一覧表示する

💡 ヒント

ヒント1 — 方向性

select_dtypes(include='object') でカテゴリ変数を抽出できます。まず各変数のユニーク数を把握してからグループ分析に進みましょう。

ヒント2 — アプローチ

• df.select_dtypes(include='object').nunique().sort_values(ascending=False) でカーディナリティ確認
• df.groupby('Neighborhood')['SalePrice'].median().sort_values(ascending=False) で地区別中央値
• value_counts()[value_counts() <= 5] で希少カテゴリ抽出

ヒント3 — コード骨格

Copyimport numpy as np
import pandas as pd

# カテゴリ変数のカーディナリティ
cat_cols = df.select_dtypes(include='object').columns
cardinality = df[cat_cols].nunique().sort_values(ascending=False)

# 地区別SalePrice中央値
neighborhood_median = (df.groupby('Neighborhood')['SalePrice']
                         .median().sort_values(ascending=False))
print("高価格地区Top5:", neighborhood_median.head(5))
print("低価格地区Bottom5:", neighborhood_median.tail(5))

# 希少カテゴリの検出
for col in cat_cols:
    vc = df[col].value_counts()
    rare = vc[vc <= 5]
    if len(rare) > 0:
        print(f"{col}: 希少カテゴリ {rare.index.tolist()}")

✅ 模範解答

Copyimport numpy as np
import pandas as pd

# ── データ準備（House Prices カテゴリ変数シミュレーション）──────────────────
np.random.seed(42)
n = 1460

neighborhoods = [
    'NoRidge','NridgHt','StoneBr','Timber','Veenker',
    'Somerst','ClearCr','Crawfor','CollgCr','Blmngtn',
    'Gilbert','NWAmes','SawyerW','Mitchel','NAmes',
    'NPkVill','SWISU','Blueste','Sawyer','OldTown',
    'BrkSide','Edwards','BrDale','IDOTRR','MeadowV'
]
price_by_neighborhood = {
    'NoRidge': 335000, 'NridgHt': 320000, 'StoneBr': 310000,
    'Timber': 280000, 'Veenker': 265000, 'Somerst': 250000,
    'ClearCr': 240000, 'Crawfor': 220000, 'CollgCr': 210000,
    'Blmngtn': 205000, 'Gilbert': 200000, 'NWAmes': 190000,
    'SawyerW': 185000, 'Mitchel': 180000, 'NAmes': 170000,
    'NPkVill': 165000, 'SWISU': 155000, 'Blueste': 150000,
    'Sawyer': 145000, 'OldTown': 130000, 'BrkSide': 120000,
    'Edwards': 115000, 'BrDale': 105000, 'IDOTRR': 100000,
    'MeadowV': 90000
}
nbh_weights = np.array([2,3,2,3,1, 4,2,4,8,3, 5,5,5,5,12, 2,3,1,5,8, 6,7,3,5,3], dtype=float)
nbh_weights /= nbh_weights.sum()
nbh_list = np.random.choice(neighborhoods, size=n, p=nbh_weights)
sale_prices = np.array([
    max(50000, int(np.random.normal(price_by_neighborhood[nbh], 40000)))
    for nbh in nbh_list
])
data = {
    'SalePrice':      sale_prices,
    'Neighborhood':   nbh_list,
    'MSZoning':       np.random.choice(['RL','RM','C (all)','FV','RH'],
                                        n, p=[0.79,0.11,0.03,0.04,0.03]),
    'BldgType':       np.random.choice(['1Fam','TwnhsE','Duplex','Twnhs','2fmCon'],
                                        n, p=[0.84,0.07,0.04,0.03,0.02]),
    'KitchenQual':    np.random.choice(['Ex','Gd','TA','Fa','Po'],
                                        n, p=[0.15,0.41,0.38,0.05,0.01]),
    'SaleCondition':  np.random.choice(['Normal','Partial','Abnorml','Family','Alloca','AdjLand'],
                                        n, p=[0.82,0.09,0.06,0.01,0.01,0.01]),
    'ExterQual':      np.random.choice(['Ex','Gd','TA','Fa'],
                                        n, p=[0.14,0.45,0.38,0.03]),
    'HeatingQC':      np.random.choice(['Ex','Gd','TA','Fa','Po'],
                                        n, p=[0.50,0.16,0.29,0.04,0.01]),
    'GarageType':     np.random.choice(['Attchd','Detchd','BuiltIn','CarPort','None','Basment','2Types'],
                                        n, p=[0.59,0.27,0.07,0.02,0.04,0.009,0.001]),
    'Foundation':     np.random.choice(['PConc','CBlock','BrkTil','Wood','Slab','Stone'],
                                        n, p=[0.44,0.42,0.10,0.01,0.016,0.004]),
    'OverallQual':    np.random.choice(range(1,11), n,
                                        p=[0.01,0.01,0.03,0.05,0.08,0.17,0.25,0.23,0.12,0.05]),
}
qual_multiplier = {1:0.4, 2:0.5, 3:0.6, 4:0.7, 5:0.8, 6:0.9, 7:1.0, 8:1.2, 9:1.5, 10:1.9}
for i in range(n):
    q = data['OverallQual'][i]
    data['SalePrice'][i] = int(data['SalePrice'][i] * qual_multiplier[q] * np.random.uniform(0.85, 1.15))
df = pd.DataFrame(data)

# ── Step 1: カーディナリティ確認 ─────────────────────────────────────
print("Step 1: カテゴリ変数のカーディナリティ（ユニーク数）")
print("="*60)
cat_cols = df.select_dtypes(include='object').columns
cardinality = df[cat_cols].nunique().sort_values(ascending=False)
for col, cnt in cardinality.items():
    tag = "🔴 高カーディナリティ" if cnt > 10 else "🟢 低カーディナリティ"
    print(f"  {col:<20} {cnt:>3} ユニーク値  {tag}")

# ── Step 2: カーディナリティ分類 ──────────────────────────────────────
print("\nStep 2: カーディナリティ分類")
high_card = cardinality[cardinality > 10].index.tolist()
low_card  = cardinality[cardinality <= 10].index.tolist()
print(f"高カーディナリティ (>10):  {high_card}")
print(f"低カーディナリティ (<=10): {low_card}")

# ── Step 3: Neighborhood別 SalePrice中央値 ────────────────────────────
print("\nStep 3: Neighborhood別 SalePrice中央値")
nbh_median = (df.groupby('Neighborhood')['SalePrice']
                .agg(['median','mean','count'])
                .sort_values('median', ascending=False))
nbh_median.columns = ['中央値', '平均値', 'サンプル数']
print("高価格地区 TOP 5:"); print(nbh_median.head(5).to_string())
print("低価格地区 BOTTOM 5:"); print(nbh_median.tail(5).to_string())
print(f"最高/最低 中央値比率: {nbh_median['中央値'].iloc[0] / nbh_median['中央値'].iloc[-1]:.1f}倍")

# ── Step 4: OverallQual × SalePrice ──────────────────────────────────
print("\nStep 4: OverallQual（品質スコア）別 SalePrice統計")
qual_stats = (df.groupby('OverallQual')['SalePrice']
                .agg(['median','mean','count'])
                .rename(columns={'median':'中央値','mean':'平均値','count':'件数'}))
print(qual_stats.to_string())

# ── Step 5: 希少カテゴリの検出 ────────────────────────────────────────
print("\nStep 5: 希少カテゴリ（出現5件以下）")
for col in cat_cols:
    vc = df[col].value_counts()
    rare = vc[vc <= 5]
    if len(rare) > 0:
        for cat, cnt in rare.items():
            print(f"  [{col}] '{cat}': {cnt}件 ({cnt/n*100:.2f}%)")

🪜 Step-by-Step 解説

🔢 数学・統計の補足（文系向け）

カーディナリティと次元の呪いの直感

Neighborhood が25カテゴリの場合、OHEで25列追加される。
1460サンプル ÷ 25列 = 各列平均 58サンプル。
さらに希少カテゴリが5件だとその列は 0.3% の1しか持たない → モデルがほぼ学習できない。

Target Encoding の直感

「Neighborhood = NoRidge の家の平均価格は 335,000ドル」という情報を 1つの数値に変換する手法。
高カーディナリティでも情報量を保ちつつ1列に収められる。
数式で書くと: encoding(カテゴリ c) = mean(SalePrice | Neighborhood = c)
ただし過学習（リーク）防止のため、スムージング（全体平均との加重平均）が一般的。

中央値 vs 平均値

🏆 Kaggleでの実践的な使い方

カテゴリEDA 標準ワークフロー

代表的なコンペでの活用例

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: EDA体系的手法③ — 欠損値パターンの可視化・補完戦略（Day 071）
• 次回予告: missingno ライブラリ・欠損の MAR/MNAR/MCAR 分類・SimpleImputer vs IterativeImputer
• 実践課題: Kaggle の House Prices データをダウンロードして Neighborhood の Target Encoding を実装してみる（sklearn.preprocessing.TargetEncoder）

📝 自己評価（解いた後に記入）