Day 075 — EDA体系的手法⑦ — カテゴリ変数のエンコーディング手法比較

📚 背景知識（読んでから問題へ）

なぜカテゴリ変数を数値に変換するのか？

機械学習モデルは数値しか扱えないため、文字列のカテゴリ変数を数値に変換する必要があります。House Prices データには Neighborhood（住宅地区名）や ExterQual（外観品質）など多くのカテゴリ変数が含まれています。

主要なエンコーディング手法一覧

One-Hot Encoding の落とし穴

スムージング付き Target Encoding の公式

📊 カテゴリ変数のカーディナリティ（エンコード選択の起点）

House Prices 主要カテゴリ変数のユニーク値数。これを見てエンコード手法を決める。

⚖️ エンコーディング手法 詳細比較

# 正しい実装（順序を明示）
quality_map = {'Ex': 4, 'Gd': 3, 'TA': 2, 'Fa': 1, 'Po': 0}
df['ExterQual_enc'] = df['ExterQual'].map(quality_map)

# drop_first=True で 1列削除（線形モデル必須）
ohe = pd.get_dummies(df['MSZoning'], prefix='MSZ', drop_first=True)
df = pd.concat([df, ohe], axis=1).drop('MSZoning', axis=1)

def target_encode_smooth(df, col, target, k=10):
    global_mean = df[target].mean()
    stats = df.groupby(col)[target].agg(['mean', 'count'])
    smooth = (stats['count'] * stats['mean'] + k * global_mean) / (stats['count'] + k)
    return df[col].map(smooth)

freq_map = df['Neighborhood'].value_counts()
df['Neighborhood_freq'] = df['Neighborhood'].map(freq_map)

🎯 Target Encoding スムージング効果の視覚化

k=10 でのスムージング効果。バーの長さは TE値（全体平均=180,000 を基準に正規化）。赤い縦線が全体平均。

🗂️ データスキーマ（House Prices スタイル）

🧩 問題

タスク1 — カーディナリティの確認:
各カテゴリ変数のユニーク値の数・最多頻度カテゴリ・欠損数を一覧表示する。

タスク2 — Label Encoding（順序あり）:
ExterQual（外観品質: Ex > Gd > TA > Fa > Po）を順序情報を保ったまま数値に変換せよ。
pd.Categorical と map の 2通りの実装を比較すること。

タスク3 — One-Hot Encoding:
MSZoning（ゾーニング区分）に pd.get_dummies() を適用し、ダミー変数トラップを避ける設定も確認せよ。

タスク4 — Target Encoding（スムージング付き）:
Neighborhood カラムに対してスムージング付きの Target Encoding を実装し、カテゴリ別エンコード値を表示せよ。

タスク5 — Frequency Encoding:
全カテゴリ変数に Frequency Encoding を一括適用する関数を実装せよ。

=== タスク1: カーディナリティ確認 ===
MSZoning    : 5種類  | 最多: RL(1151)  | 欠損: 0
Neighborhood: 25種類 | 最多: NAmes(225)| 欠損: 0
ExterQual   : 4種類  | 最多: TA(906)   | 欠損: 0

=== タスク2: Label Encoding ===
Ex=4, Gd=3, TA=2, Fa=1, Po=0
変換前 unique: ['Ex', 'Gd', 'TA', 'Fa']
変換後 unique: [4, 3, 2, 1]

=== タスク3: One-Hot Encoding ===
MSZoning展開後の列数: 4 (drop_first=True) / 5 (drop_first=False)

=== タスク4: Target Encoding ===
NoRidge  n= 30  生平均: 320,000 → TE: 285,000
...

💡 ヒント

# タスク4: スムージング付き Target Encoding
def target_encode_smooth(df, col, target, k=10):
    global_mean = df[target].mean()
    stats = df.groupby(col)[target].agg(['mean', 'count'])
    smooth = (stats['count'] * stats['mean'] + k * global_mean) / (stats['count'] + k)
    return df[col].map(smooth)

# タスク5: Frequency Encoding
def frequency_encode(df, cat_cols):
    df_enc = df.copy()
    for col in cat_cols:
        freq_map = df[col].value_counts()
        df_enc[col + '_freq'] = df[col].map(freq_map)
    return df_enc

✅ 模範解答

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')

# ─── サンプルデータ生成（House Prices スタイル） ──────────────────
np.random.seed(42)
n = 1460

neighborhoods = ['OldTown', 'CollgCr', 'Crawfor', 'NoRidge', 'Mitchel',
                 'Somerst', 'NWAmes', 'OldTown', 'BrkSide', 'Sawyer',
                 'NridgHt', 'NAmes', 'SawyerW', 'IDOTRR', 'Timber',
                 'CollgCr', 'NAmes', 'Veenker', 'Blmngtn', 'MeadowV',
                 'ClearCr', 'NPkVill', 'Gilbert', 'StoneBr', 'Blueste']
# （nb_weights, mszoning_cats, quality_cats は省略 — MDファイル参照）

df = pd.DataFrame({
    'Neighborhood': np.random.choice(neighborhoods, n, p=nb_weights),
    'MSZoning'    : np.random.choice(mszoning_cats, n, p=mszoning_w),
    'ExterQual'   : np.random.choice(quality_cats,  n, p=quality_w),
    'SalePrice'   : np.random.lognormal(12.0, 0.4, n).clip(34900, 755000),
})

# ─── タスク2: Label Encoding（順序あり） ────────────────────────
quality_map = {'Ex': 4, 'Gd': 3, 'TA': 2, 'Fa': 1, 'Po': 0}
df['ExterQual_label'] = df['ExterQual'].map(quality_map)

# pd.Categorical で順序情報を保持
quality_order = ['Po', 'Fa', 'TA', 'Gd', 'Ex']
df['ExterQual_cat'] = pd.Categorical(df['ExterQual'], categories=quality_order, ordered=True)
df['ExterQual_cat_code'] = df['ExterQual_cat'].cat.codes

# ─── タスク3: One-Hot Encoding ──────────────────────────────────
ohe_with_drop = pd.get_dummies(df['MSZoning'], prefix='MSZ', drop_first=True)
ohe_no_drop   = pd.get_dummies(df['MSZoning'], prefix='MSZ', drop_first=False)
df_with_ohe   = pd.concat([df.drop('MSZoning', axis=1), ohe_with_drop], axis=1)

# ─── タスク4: Target Encoding（スムージング付き） ────────────────
def target_encode_smooth(df, col, target, k=10):
    global_mean = df[target].mean()
    stats = df.groupby(col)[target].agg(['mean', 'count'])
    smooth = (stats['count'] * stats['mean'] + k * global_mean) / (stats['count'] + k)
    return df[col].map(smooth)

df['Neighborhood_te'] = target_encode_smooth(df, 'Neighborhood', 'SalePrice', k=10)

# ─── タスク5: Frequency Encoding ────────────────────────────────
def frequency_encode(df: pd.DataFrame, cat_cols: list, suffix: str = '_freq') -> pd.DataFrame:
    df_enc = df.copy()
    for col in cat_cols:
        freq_map = df[col].value_counts()
        df_enc[col + suffix] = df[col].map(freq_map)
    return df_enc

orig_cat_cols = ['Neighborhood', 'MSZoning', 'ExterQual']
df_freq = frequency_encode(df, orig_cat_cols)

🪜 Step-by-Step 解説

📐 数学・統計の補足（文系向け）

スムージングの直感的な説明

「少ないデータだけで判断するのは危険」という考え方をコードで表現したものです。

One-Hot と Label の数学的な違い

🏆 Kaggleでの実践的な使い方

House Prices の典型的なエンコードパイプライン

import pandas as pd
import numpy as np

# 順序あり品質系カテゴリは手動マッピング
qual_map = {'Ex': 5, 'Gd': 4, 'TA': 3, 'Fa': 2, 'Po': 1, 'NA': 0}
qual_cols = ['ExterQual', 'ExterCond', 'BsmtQual', 'KitchenQual', 'HeatingQC']
for col in qual_cols:
    df[col] = df[col].map(qual_map).fillna(0)

# 低カーディナリティ（≤10種類）→ One-Hot
low_card = [c for c in df.select_dtypes('object').columns if df[c].nunique() <= 10]
df = pd.get_dummies(df, columns=low_card, drop_first=True)

# 高カーディナリティ（>10種類）→ Target Encoding（CV内で使用）
# pip install category_encoders
from category_encoders import TargetEncoder
from sklearn.model_selection import cross_val_score

high_card = [c for c in df.select_dtypes('object').columns if df[c].nunique() > 10]
enc = TargetEncoder(cols=high_card)
# fit は必ず訓練データのみで。テストデータは transform のみ。

Kaggleでよく使われるエンコーダライブラリ

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: category_encoders ライブラリの LeaveOneOutEncoder でリークを完全排除する実装
• 次回予告: EDA体系的手法⑧ — 特徴量エンジニアリング基礎（交互作用特徴量・多項式特徴量）

📝 自己評価（解いた後に記入）