Day 073 — EDA体系的手法⑤ — 相関行列と多重共線性の検出・VIF計算

📚 背景知識（読んでから問題へ）

相関係数とは？

相関係数（-1 〜 +1）は「2変数がどれだけ一緒に動くか」を表す数値。

多重共線性（マルチコ）とは？

VIF（分散膨張係数）

多重共線性の程度を定量化する指標。VIF = 1 / (1 - R²)（他の変数で当該変数をどれだけ説明できるか）。

🌡 相関ヒートマップのイメージ（SVG）

📊 SalePrice との相関係数 TOP 10（可視化）

📈 VIF ランキング（主要変数）

🗂 データスキーマ（今日使う主要変数）

🧩 問題

💡 ヒント

import seaborn as sns
import numpy as np
corr = df.select_dtypes(include='number').corr()

# 強い相関ペア検出
upper = corr.where(np.triu(np.ones(corr.shape), k=1).astype(bool))
strong = upper.stack()[upper.stack().abs() >= 0.8]

from statsmodels.stats.outliers_influence import variance_inflation_factor

# 欠損値のない数値列のみ
num_cols = df.select_dtypes(include='number').dropna(axis=1).columns.tolist()
X = df[num_cols].fillna(df[num_cols].median())

vif_df = pd.DataFrame({
    'feature': num_cols,
    'VIF': [variance_inflation_factor(X.values, i) for i in range(len(num_cols))]
}).sort_values('VIF', ascending=False)

✅ 模範解答

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from statsmodels.stats.outliers_influence import variance_inflation_factor

df = pd.read_csv('train.csv')
num_df = df.select_dtypes(include='number')

# ─── タスク1: 相関行列の可視化 ───
corr = num_df.corr()

# 絶対値 0.1 未満をマスク
corr_masked = corr.where(corr.abs() >= 0.1)

plt.figure(figsize=(20, 16))
sns.heatmap(
    corr_masked,
    annot=True, fmt='.2f', annot_kws={'size': 7},
    cmap='RdBu_r', center=0, vmin=-1, vmax=1,
    linewidths=0.5, square=True,
    cbar_kws={'shrink': 0.8}
)
plt.title('House Prices — 相関行列（|r| < 0.1 を除外）', fontsize=14, pad=16)
plt.xticks(rotation=45, ha='right', fontsize=8)
plt.yticks(fontsize=8)
plt.tight_layout()
plt.show()

# ─── タスク2: SalePrice と強く相関する変数 TOP 10 ───
sp_corr = corr['SalePrice'].drop('SalePrice').sort_values(ascending=False)
print("\n── SalePrice との相関係数 TOP 10 ──")
print(sp_corr.head(10).to_string())
print("\n── SalePrice との相関係数 BOTTOM 5（負の相関） ──")
print(sp_corr.tail(5).to_string())

# ─── タスク3: 変数間の強い相関ペア（|r| >= 0.8） ───
upper = corr.where(np.triu(np.ones(corr.shape), k=1).astype(bool))
strong_pairs = upper.stack()[upper.stack().abs() >= 0.8]
strong_pairs = strong_pairs.reset_index()
strong_pairs.columns = ['変数A', '変数B', '相関係数']
strong_pairs['|r|'] = strong_pairs['相関係数'].abs()
strong_pairs = strong_pairs.sort_values('|r|', ascending=False)

print(f"\n── 強い相関ペア（|r| >= 0.8）: {len(strong_pairs)} ペア ──")
print(strong_pairs.to_string(index=False))

# ─── タスク4: VIF の計算 ───
num_cols = num_df.dropna(axis=1).columns.tolist()
X = num_df[num_cols].fillna(num_df[num_cols].median())

vif_data = pd.DataFrame({
    'feature': num_cols,
    'VIF': [variance_inflation_factor(X.values, i) for i in range(len(num_cols))]
}).sort_values('VIF', ascending=False)

print("\n── VIF ランキング（上位20） ──")
print(vif_data.head(20).to_string(index=False))
print("\n── VIF > 10 の変数（多重共線性あり） ──")
print(vif_data[vif_data['VIF'] > 10].to_string(index=False))

🪜 Step-by-Step 解説

📐 数学・統計の補足（文系向け）

ピアソン相関係数の直感

相関係数 r は「2変数の関係の強さと方向」を -1〜+1 で表す。計算式のイメージ:

VIF の計算式

🏆 Kaggleでの実践的な使い方

House Prices での多重共線性対策パターン

df['GarageAreaPerCar'] = df['GarageArea'] / (df['GarageCars'] + 1)

from sklearn.decomposition import PCA
area_cols = ['GrLivArea', '1stFlrSF', 'TotalBsmtSF']
pca = PCA(n_components=2)
df[['area_PC1', 'area_PC2']] = pca.fit_transform(df[area_cols].fillna(0))

from sklearn.linear_model import Ridge
model = Ridge(alpha=100)  # alpha が大きいほど係数を縮小

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 特徴量エンジニアリング実践 — 相関の強いペアから比率・差分・積の新特徴量を生成してスコア改善
• 次回予告: EDA体系的手法⑥ — 特徴量エンジニアリング入門（比率・差分・交互作用項の生成）

📝 自己評価