Day 054 — 評価指標の深掘り（多クラス版）

📚 背景知識（読んでから問題へ）

なぜ Accuracy だけでは不十分か？

Precision・Recall・F1 の直感的な理解

多クラスの F1 — 3種類の平均化方法

📊 Digits での典型的な指標比較

🗂️ データスキーマ（Digits Dataset）

📝 問題

📋 コピーimport pandas as pd
import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split, StratifiedKFold, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import (
    accuracy_score, classification_report,
    confusion_matrix, f1_score,
    precision_score, recall_score
)

問1 — データの確認

• load_digits() でデータを読み込む
• データの形状（サンプル数・特徴量数・クラス数）を確認する
• 各クラス（0〜9）のサンプル数を確認する（均等か？）
• X[0].reshape(8, 8) で最初のサンプルが8×8の画像であることを確認せよ

問2 — モデル学習

• train_test_split（80:20, stratify=y, random_state=42）で分割する
• StandardScaler + LogisticRegression(C=1.0, max_iter=5000, random_state=42) の Pipeline を作成・学習する
• テストデータで accuracy_score を計算する

問3 — 評価指標の比較（核心）

以下の6種類の評価指標をすべて計算し、それぞれの値を比較せよ：

📋 コピーmetrics = {
    "accuracy":          accuracy_score(y_test, y_pred),
    "f1_macro":          f1_score(y_test, y_pred, average="macro"),
    "f1_micro":          f1_score(y_test, y_pred, average="micro"),
    "f1_weighted":       f1_score(y_test, y_pred, average="weighted"),
    "precision_macro":   precision_score(y_test, y_pred, average="macro"),
    "recall_macro":      recall_score(y_test, y_pred, average="macro"),
}

• 値が最も低い指標はどれか？
• なぜその指標が低くなるのか説明せよ

問4 — 不均衡データでの差異を確認

不均衡データを人工的に作り、Macro vs Weighted F1 の差を確認する：

📋 コピー# クラス0を10サンプルだけに削減（不均衡を作る）
mask_0 = (y == 0)
mask_other = (y != 0)

X_0 = X[mask_0][:10]
y_0 = y[mask_0][:10]
X_other = X[mask_other]
y_other = y[mask_other]

X_imb = np.vstack([X_0, X_other])
y_imb = np.hstack([y_0, y_other])

• 上記の不均衡データで同じパイプラインを学習・評価する
• f1_macro と f1_weighted の差を計算する
• 差が大きい場合、どちらを使うべきか？理由も述べよ

問5 — classification_report の読み方

classification_report(y_test, y_pred) の出力を見て以下に答えよ：

• 最も F1 スコアが低いクラス（数字）はどれか？
• そのクラスの Precision と Recall はそれぞれいくつか？
• Precision と Recall のどちらが低いか？それは何を意味するか？

🔍 ヒント（段階的開示）

📋 コピー# 6種類の指標を一括計算してデータフレームで表示
results = {
    "accuracy":        accuracy_score(y_test, y_pred),
    "f1_macro":        f1_score(y_test, y_pred, average="macro"),
    "f1_micro":        f1_score(y_test, y_pred, average="micro"),
    "f1_weighted":     f1_score(y_test, y_pred, average="weighted"),
    "precision_macro": precision_score(y_test, y_pred, average="macro"),
    "recall_macro":    recall_score(y_test, y_pred, average="macro"),
}
df_metrics = pd.DataFrame.from_dict(results, orient="index", columns=["value"])
df_metrics["value"] = df_metrics["value"].round(4)
print(df_metrics.sort_values("value"))

📋 コピー# classification_report を辞書として取得し最悪クラスを特定
report_dict = classification_report(y_test, y_pred, output_dict=True)
df_report = pd.DataFrame(report_dict).T  # クラスが行に来るように転置
class_only = df_report.iloc[:-3]  # accuracy, macro avg, weighted avg を除く
worst_class = class_only["f1-score"].idxmin()
print(f"最悪クラス: {worst_class}")
print(df_report.loc[worst_class, ["precision", "recall", "f1-score"]])

✅ 模範解答

📋 コピーimport pandas as pd
import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import (
    accuracy_score, classification_report,
    confusion_matrix, f1_score,
    precision_score, recall_score
)

# ── 問1: データの確認 ──
digits = load_digits()
X, y = digits.data, digits.target

print(f"データ形状: X={X.shape}, y={y.shape}")  # (1797, 64)
print(f"クラス数: {len(digits.target_names)}")   # 10
print(f"\nクラスごとのサンプル数:")
print(pd.Series(y).value_counts().sort_index())
# 各クラス約178〜180サンプル（ほぼ均等）

print(f"\n最初のサンプル（8×8画像）:")
print(X[0].reshape(8, 8).astype(int))

# ── 問2: モデル学習 ──
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(C=1.0, max_iter=5000, random_state=42))
])
pipeline.fit(X_train, y_train)
y_pred = pipeline.predict(X_test)

acc = accuracy_score(y_test, y_pred)
print(f"\n[問2] Accuracy: {acc:.4f}")

# ── 問3: 評価指標の比較 ──
metrics = {
    "accuracy":          accuracy_score(y_test, y_pred),
    "f1_macro":          f1_score(y_test, y_pred, average="macro"),
    "f1_micro":          f1_score(y_test, y_pred, average="micro"),
    "f1_weighted":       f1_score(y_test, y_pred, average="weighted"),
    "precision_macro":   precision_score(y_test, y_pred, average="macro"),
    "recall_macro":      recall_score(y_test, y_pred, average="macro"),
}

df_metrics = pd.DataFrame.from_dict(metrics, orient="index", columns=["value"])
df_metrics["value"] = df_metrics["value"].round(4)
print("\n[問3] 評価指標の比較:")
print(df_metrics.sort_values("value"))
# → バランスデータなので accuracy ≈ f1_micro ≈ f1_weighted ≈ f1_macro

# ── 問4: 不均衡データでの差異 ──
mask_0 = (y == 0)
mask_other = (y != 0)

X_0 = X[mask_0][:10]
y_0 = y[mask_0][:10]
X_other = X[mask_other]
y_other = y[mask_other]

X_imb = np.vstack([X_0, X_other])
y_imb = np.hstack([y_0, y_other])

X_train_i, X_test_i, y_train_i, y_test_i = train_test_split(
    X_imb, y_imb, test_size=0.2, stratify=y_imb, random_state=42
)

pipe_imb = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(C=1.0, max_iter=5000, random_state=42))
])
pipe_imb.fit(X_train_i, y_train_i)
y_pred_i = pipe_imb.predict(X_test_i)

f1_mac_i = f1_score(y_test_i, y_pred_i, average="macro", zero_division=0)
f1_wgt_i = f1_score(y_test_i, y_pred_i, average="weighted", zero_division=0)

print(f"\n[問4] 不均衡データ:")
print(f"  f1_macro    = {f1_mac_i:.4f}")
print(f"  f1_weighted = {f1_wgt_i:.4f}")
print(f"  差          = {abs(f1_mac_i - f1_wgt_i):.4f}")
# → Macro < Weighted（クラス0の低F1がMacroを引き下げる）
# → 少数クラスも公平に評価したいなら Macro を使うべき

# ── 問5: classification_report の読み方 ──
print("\n[問5] Classification Report (均等データ):")
print(classification_report(y_test, y_pred))

report_dict = classification_report(y_test, y_pred, output_dict=True)
df_report = pd.DataFrame(report_dict).T
class_only = df_report.drop(["accuracy", "macro avg", "weighted avg"])
worst_class = class_only["f1-score"].idxmin()
row = class_only.loc[worst_class]
print(f"最悪クラス: {worst_class}")
print(f"  Precision = {row['precision']:.4f}")
print(f"  Recall    = {row['recall']:.4f}")
print(f"  F1-score  = {row['f1-score']:.4f}")
# Precision < Recall → 予測しすぎ（False Positive が多い）
# Recall < Precision → 見逃しが多い（False Negative が多い）

📈 クラス別 F1 スコア（Digits 典型値）

⚖️ 不均衡データでの Macro vs Weighted の差

🪜 Step-by-Step 解説

1 Accuracy と F1_micro の関係

📋 コピー# バランスデータ（各クラス均等）の場合
# → f1_micro ≈ accuracy（ほぼ一致する）

# 不均衡データの場合
# → accuracy は多数クラスに引きずられ高く見える
# → f1_macro は少数クラスの低 F1 に引きずられ低くなる

2 Macro・Micro・Weighted の計算イメージ

📋 コピー# 3クラス (A, B, C) の例
#   クラスA: Precision=0.90, Recall=0.85 → F1=0.874
#   クラスB: Precision=0.60, Recall=0.40 → F1=0.480
#   クラスC: Precision=0.80, Recall=0.90 → F1=0.847

# Macro F1 = (0.874 + 0.480 + 0.847) / 3 = 0.734
# → 少数クラスBがスコアを引き下げる

# Weighted F1 (A=100件, B=10件, C=90件)
# = (0.874×100 + 0.480×10 + 0.847×90) / 200 = 0.854
# → 多数クラスAとCが支配

3 Precision と Recall のトレードオフ

📋 コピー# 閾値を変えると Precision と Recall はトレードオフになる
# （二値分類でよく使われる概念）

# Precision を優先する場面:
#   → スパムフィルター（正常メールをスパムにしたくない）

# Recall を優先する場面:
#   → 癌検診（見逃しが命取り）

# どちらも重要な場面:
#   → F1 を使う（Kaggleコンペはたいていこちら）

4 scikit-learn での指定方法まとめ

📋 コピーfrom sklearn.metrics import f1_score

f1_score(y_test, y_pred, average="macro")     # 均等平均
f1_score(y_test, y_pred, average="micro")     # TP/FP/FN を合算して計算
f1_score(y_test, y_pred, average="weighted")  # サンプル数で重み付け平均
f1_score(y_test, y_pred, average=None)        # クラスごとの F1 を配列で返す

5 CV で f1_macro を最大化する

📋 コピーfrom sklearn.model_selection import cross_val_score, StratifiedKFold

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(
    pipeline, X, y,
    cv=cv,
    scoring="f1_macro"  # ← ここを変えるだけ
)
print(f"CV Macro F1: {scores.mean():.4f} ± {scores.std():.4f}")

🔢 数学・統計の補足（文系向け）

F1 スコアはなぜ「調和平均」を使うのか？

Macro vs Weighted の選び方

🏆 Kaggleでの実践的な使い方

📋 コピー# Kaggle実践: cross_val_score の scoring に f1_macro を指定
from sklearn.model_selection import cross_val_score, StratifiedKFold

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(
    pipeline, X, y,
    cv=cv,
    scoring="f1_macro"  # "f1_weighted", "f1_micro" にも変更可能
)
print(f"CV Macro F1: {scores.mean():.4f} ± {scores.std():.4f}")

# Kaggle実践: 不均衡データには class_weight="balanced" も有効
pipeline_balanced = Pipeline([
    ("scaler", StandardScaler()),
    ("model", LogisticRegression(
        C=1.0,
        class_weight="balanced",  # 少数クラスに高い重みを自動付与
        max_iter=5000
    ))
])

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: ROC曲線と AUC-ROC スコアの理解（二値分類 → 多クラスへの拡張）
• 次回予告 (Day 055): ROC曲線と AUC — 閾値・感度・特異度の関係と Kaggle での使い方

📋 自己評価（解いた後に記入）