Day 052 — ロジスティック回帰入門（シグモイド・確率予測・係数の解釈）

📚 背景知識（読んでから問題へ）

「ある人がローンを返済できるか？」「このメールはスパムか？」—— こうした Yes/No の2択を確率として予測するのがロジスティック回帰です。

📈 シグモイド関数（S字曲線の直感的理解）

線形回帰は -∞ ～ +∞ の値を出しますが、確率は 0 ～ 1 の範囲でなければなりません。シグモイド関数はどんな値でも 0〜1 に押し込む「変換装置」です。

🗂️ データスキーマ（Titanic Dataset）

📝 問題

📋 コピーimport pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split, StratifiedKFold, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import (
    accuracy_score, classification_report,
    roc_auc_score, roc_curve, confusion_matrix
)
import matplotlib.pyplot as plt

# Titanic データの読み込み（seabornから）
import seaborn as sns
df = sns.load_dataset("titanic")

問1 — データの前処理

• survived を目的変数 y にする
• 特徴量 X は pclass, age, fare, sibsp, parch, sex, embarked を使う
• sex を数値化（male=1, female=0）
• embarked をダミー変数化（pd.get_dummies, drop_first=True）
• age の欠損値を中央値で埋める
• embarked の欠損値を最頻値で埋める

問2 — モデルの学習と確率予測

• train_test_split で 80:20 に分割（stratify=y, random_state=42）
• Pipeline([("scaler", StandardScaler()), ("model", LogisticRegression(max_iter=500))]) を使って学習
• テストデータで predict_proba を使い、クラス1（生存）の確率を取得
• classification_report を出力する

問3 — ROC-AUC の計算と曲線の描画

• roc_auc_score で AUC を計算する
• roc_curve で FPR, TPR を取得し、matplotlib でROC曲線を描画する
• グラフに AUC の値をタイトルまたはラベルに含める

問4 — 係数の解釈

• pipeline.named_steps["model"].coef_[0] で係数を取得する
• 特徴量名と係数をデータフレームにまとめ、係数の絶対値で降順に並べて表示する
• 最も生存に正の影響を与える特徴量と、負の影響を与える特徴量を1つずつ答えよ

問5 — 閾値の変更による影響

• デフォルト閾値（0.5）の Accuracy と Recall（生存クラス）を計算する
• 閾値を 0.3 に変更したとき（pred = (proba >= 0.3).astype(int)）の Accuracy と Recall を計算する
• なぜ閾値を下げると Recall が上がるのかを言葉で説明せよ

🔍 ヒント（段階的開示）

📋 コピー# 前処理の骨格
df["sex"] = df["sex"].map({"male": 1, "female": 0})
df["age"] = df["age"].fillna(df["age"].median())
df["embarked"] = df["embarked"].fillna(df["embarked"].mode()[0])
embarked_dummies = pd.get_dummies(df["embarked"], prefix="embarked", drop_first=True)

feature_cols = ["pclass", "age", "fare", "sibsp", "parch", "sex"]
X = pd.concat([df[feature_cols], embarked_dummies], axis=1)
y = df["survived"]

📋 コピー# ROC曲線の描画
fpr, tpr, thresholds = roc_curve(y_test, proba)
auc_score = roc_auc_score(y_test, proba)

plt.figure(figsize=(7, 5))
plt.plot(fpr, tpr, color="royalblue", lw=2, label=f"ROC curve (AUC = {auc_score:.4f})")
plt.plot([0, 1], [0, 1], "k--", lw=1, label="Random classifier")
plt.xlabel("False Positive Rate")
plt.ylabel("True Positive Rate")
plt.title("ROC Curve — Titanic Survival Prediction")
plt.legend()
plt.tight_layout()
plt.show()

✅ 模範解答

📋 コピーimport pandas as pd
import numpy as np
import seaborn as sns
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import (
    accuracy_score, classification_report,
    roc_auc_score, roc_curve, recall_score
)
import matplotlib.pyplot as plt

# ── データ読み込み ──
df = sns.load_dataset("titanic")

# ── 問1: 前処理 ──
df["sex"] = df["sex"].map({"male": 1, "female": 0})
df["age"] = df["age"].fillna(df["age"].median())
df["embarked"] = df["embarked"].fillna(df["embarked"].mode()[0])
embarked_dummies = pd.get_dummies(df["embarked"], prefix="embarked", drop_first=True)

feature_cols = ["pclass", "age", "fare", "sibsp", "parch", "sex"]
X = pd.concat([df[feature_cols], embarked_dummies], axis=1)
y = df["survived"]

print(f"データ形状: {X.shape}")
print(f"生存率: {y.mean():.3f}")

# ── 問2: 学習と予測 ──
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(max_iter=500, random_state=42))
])
pipeline.fit(X_train, y_train)

y_pred = pipeline.predict(X_test)
proba  = pipeline.predict_proba(X_test)[:, 1]

print("\n[Classification Report]")
print(classification_report(y_test, y_pred, target_names=["死亡(0)", "生存(1)"]))

# ── 問3: ROC-AUC ──
auc_score = roc_auc_score(y_test, proba)
print(f"ROC-AUC: {auc_score:.4f}")

fpr, tpr, _ = roc_curve(y_test, proba)
plt.figure(figsize=(7, 5))
plt.plot(fpr, tpr, color="royalblue", lw=2, label=f"ROC curve (AUC = {auc_score:.4f})")
plt.plot([0, 1], [0, 1], "k--", lw=1, label="Random classifier")
plt.xlabel("False Positive Rate")
plt.ylabel("True Positive Rate")
plt.title("ROC Curve — Titanic Survival Prediction")
plt.legend()
plt.tight_layout()
plt.show()

# ── 問4: 係数の解釈 ──
coef = pipeline.named_steps["model"].coef_[0]
feature_names = X.columns.tolist()
coef_df = pd.DataFrame({
    "feature": feature_names,
    "coefficient": coef
}).sort_values("coefficient", key=abs, ascending=False)

print("\n[係数ランキング（絶対値降順）]")
print(coef_df.to_string(index=False))

print(f"\n生存に最も正の影響: {coef_df[coef_df['coefficient'] > 0].iloc[0]['feature']}")
print(f"生存に最も負の影響: {coef_df[coef_df['coefficient'] < 0].iloc[0]['feature']}")

# ── 問5: 閾値の変更 ──
for threshold in [0.5, 0.3]:
    pred = (proba >= threshold).astype(int)
    acc  = accuracy_score(y_test, pred)
    rec  = recall_score(y_test, pred)
    print(f"\n閾値={threshold:.1f}: Accuracy={acc:.4f}, Recall(生存)={rec:.4f}")

print("\n【解説】閾値を下げる = より積極的に「生存」と予測する")
print("→ 本来生存だったのに「死亡」と間違えるケース（偽陰性）が減り、Recallが上がる")

📊 係数チャート（Titanic 典型値）

StandardScaler 適用後の係数。絶対値が大きいほど予測への影響が大きい。

📈 ROC曲線の概念図

横軸: FPR（偽陽性率）、縦軸: TPR（真陽性率＝Recall）。曲線が左上に近いほど良いモデル。

⚖️ 閾値（Threshold）の変更と Precision-Recall トレードオフ

🪜 Step-by-Step 解説

1 カテゴリ変数の数値化

📋 コピー# sex: male=1, female=0（二値なので map が簡単）
df["sex"] = df["sex"].map({"male": 1, "female": 0})

# embarked: C/Q/S の3値 → one-hot encoding
# drop_first=True で多重共線性を防ぐ（C を基準とする）
embarked_dummies = pd.get_dummies(df["embarked"], prefix="embarked", drop_first=True)
# → embarked_Q, embarked_S の2列になる（embarked_C が落ちる）

drop_first=True を必ず使う理由：3つのカラムを作ると「3つ目 = 1 - 1つ目 - 2つ目」という関係が成立し、情報が重複（多重共線性）するためです。

2 predict と predict_proba の違い

📋 コピーy_pred  = pipeline.predict(X_test)           # クラス（0 or 1）
y_proba = pipeline.predict_proba(X_test)     # 各クラスの確率 [[0.3, 0.7], ...]
proba1  = pipeline.predict_proba(X_test)[:, 1]  # クラス1の確率のみ取得

確率を持っておくと、閾値変更・ROC-AUC 計算・スタッキングなど幅広く使えます。

3 ROC-AUC の意味

📋 コピーfrom sklearn.metrics import roc_auc_score, roc_curve

auc = roc_auc_score(y_test, proba)
# AUC = ランダムに選んだ正例と負例を比較したとき、正例の方が
#       高いスコアを持つ確率
# → AUC=1.0 が完璧、AUC=0.5 がランダムと同等

fpr, tpr, thresholds = roc_curve(y_test, proba)
# fpr: 各閾値での偽陽性率
# tpr: 各閾値での真陽性率（= Recall）
# thresholds: 対応する閾値リスト

4 係数の解釈（オッズ比）

📋 コピーimport numpy as np

coef = pipeline.named_steps["model"].coef_[0]
feature_names = X.columns.tolist()

# exp(coef) = オッズ比
odds_ratio = np.exp(coef)
# sex の係数が -1.35 なら → exp(-1.35) ≈ 0.26
# つまり「male（sex=1）であると、生存のオッズが 0.26 倍（=74%減少）」

5 閾値（Threshold）の調整

📋 コピーfrom sklearn.metrics import accuracy_score, recall_score

for threshold in [0.5, 0.3]:
    pred = (proba >= threshold).astype(int)
    acc  = accuracy_score(y_test, pred)
    rec  = recall_score(y_test, pred)
    print(f"閾値={threshold:.1f}: Accuracy={acc:.4f}, Recall={rec:.4f}")

# Recall = TP / (TP + FN)
# FN = 「実際は生存だが死亡と予測」
# → 閾値を下げるとFNが減りRecallが上がる
# → ただし偽陽性（死亡なのに生存と予測）が増えPrecisionは下がる

🔢 数学・統計の補足（文系向け）

シグモイド関数を身近な例えで

体重計の数値をどんなに大きくても「100点満点」に変換する装置を想像してください。シグモイド関数は「どんな数値入力でも 0〜1 の確率に変換する装置」です。

オッズ比（Odds Ratio）

正則化パラメータ C

🏆 Kaggleでの実践的な使い方

📋 コピー# Kaggle 実践: cross_val_score で AUC を評価
from sklearn.model_selection import StratifiedKFold, cross_val_score

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(max_iter=500, C=1.0))
])

auc_scores = cross_val_score(pipeline, X, y, cv=cv, scoring="roc_auc", n_jobs=-1)
print(f"CV AUC: {auc_scores.mean():.4f} ± {auc_scores.std():.4f}")
# C パラメータ（正則化の強さの逆数）を変えて最適化することもできる

# C の比較（Optuna の前哨戦）
for c in [0.01, 0.1, 1.0, 10.0, 100.0]:
    pipe = Pipeline([("scaler", StandardScaler()),
                     ("model",  LogisticRegression(C=c, max_iter=500))])
    score = cross_val_score(pipe, X, y, cv=cv, scoring="roc_auc").mean()
    print(f"C={c:7.2f}: AUC={score:.4f}")

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: LogisticRegression(C=0.01) と C=100 でスコアを比較し、正則化の効果を体験する
• 次回予告 (Day 053): ロジスティック回帰の正則化と多クラス分類 — multi_class="multinomial"、Iris データセットで3クラス分類を実装します

📋 自己評価（解いた後に記入）