Day 086 — AutoML活用 — AutoGluon・PyCaretで素早くベースライン構築

📚 背景知識（読んでから問題へ）

AutoMLとは何か？

AutoML（Automated Machine Learning）は「機械学習パイプライン全体を自動化するツール」です。本来20〜50行かかる作業をほぼゼロにします。

🗂️ データスキーマ — Titanic（AutoML に投入するカラム）

seaborn の titanic データセット。リーク列を削除した後のカラム構成。

⚖️ PyCaret vs AutoGluon — 比較表

🎯 問題

タスク1: PyCaret でモデル比較

タスク2: AutoGluon でベースライン構築

📊 AUC スコア — モデル比較イメージ（参考値）

Titanic での典型的な各モデルの AUC スコア（time_limit=60秒程度の場合）

🗺️ Kaggle AutoML ワークフロー図

コンペ開始からメダル獲得までの戦略的な時間配分

💡 ヒント

# PyCaret
import seaborn as sns
from pycaret.classification import setup, compare_models, finalize_model, predict_model

df = sns.load_dataset('titanic')
df = df.drop(['deck', 'embark_town', 'alive', 'class', 'who', 'adult_male', 'alone'], axis=1)
df = df.dropna(subset=['survived'])

setup(data=df, target='survived', session_id=42, verbose=False)
top3 = compare_models(n_select=3)
best = finalize_model(top3[0])

# AutoGluon
from autogluon.tabular import TabularPredictor

predictor = TabularPredictor(label='survived').fit(df, time_limit=60)
print(predictor.leaderboard())
print(predictor.feature_importance(df))

✅ 模範解答

# ===== インストール（Colabでは実行が必要） =====
# !pip install pycaret autogluon.tabular -q

import warnings
warnings.filterwarnings('ignore')

import seaborn as sns
import pandas as pd

# ── データ読み込み ────────────────────────────────────────────────
df = sns.load_dataset('titanic')
print("Shape:", df.shape)

# リーク列・重複列を削除
drop_cols = ['deck', 'embark_town', 'alive', 'class', 'who', 'adult_male', 'alone']
df_clean = df.drop(columns=drop_cols)
df_clean = df_clean.dropna(subset=['survived'])
df_clean['survived'] = df_clean['survived'].astype(int)

print("\nクリーニング後 Shape:", df_clean.shape)


# ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
# タスク1: PyCaret でモデル比較
# ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
from pycaret.classification import (
    setup, compare_models, finalize_model,
    predict_model, pull
)

# 実験環境セットアップ
setup(
    data=df_clean,
    target='survived',
    session_id=42,
    fold=5,
    verbose=False
)

# 全モデル比較（上位3を取得）
print("\n=== PyCaret: モデル比較中（数分かかります）===")
top3_models = compare_models(n_select=3, sort='AUC', verbose=True)

# 結果テーブル取得
results_df = pull()
print("\n=== 上位3モデル ===")
print(results_df.head(3)[['Model', 'Accuracy', 'AUC', 'Recall', 'Prec.', 'F1']])

# ベストモデルをファイナライズ（全データで再学習）
best_model = finalize_model(top3_models[0])
print("\nベストモデル:", type(best_model).__name__)

# サンプル5件で予測
sample = df_clean.head(5).drop(columns=['survived'])
predictions = predict_model(best_model, data=sample)
print("\n予測サンプル:")
print(predictions[['sex', 'age', 'pclass', 'prediction_label', 'prediction_score']])


# ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
# タスク2: AutoGluon でベースライン構築
# ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
from autogluon.tabular import TabularPredictor
from sklearn.model_selection import train_test_split

# 学習/検証分割
train_df, val_df = train_test_split(
    df_clean, test_size=0.2, random_state=42,
    stratify=df_clean['survived']
)

print("\n=== AutoGluon: 学習開始（60秒制限）===")
predictor = TabularPredictor(
    label='survived',
    eval_metric='roc_auc',
    path='./autogluon_titanic',
).fit(
    train_data=train_df,
    time_limit=60,
    presets='medium_quality'
)

# リーダーボード確認
print("\n=== AutoGluon: リーダーボード ===")
lb = predictor.leaderboard(val_df, silent=True)
print(lb[['model', 'score_val', 'pred_time_val', 'fit_time']].head(8).to_string())

# 特徴量重要度 Top5
print("\n=== 特徴量重要度 Top5 ===")
fi = predictor.feature_importance(val_df)
print(fi.head(5))

# バリデーションスコア確認
val_score = predictor.evaluate(val_df)
print(f"\nValidation AUC: {val_score:.4f}")

🪜 Step-by-Step 解説

1データ準備とリーク列の除去

drop_cols = ['deck', 'embark_town', 'alive', 'class', 'who', 'adult_male', 'alone']
df_clean = df.drop(columns=drop_cols)

2PyCaret の setup() が裏でやること

setup(data=df_clean, target='survived', session_id=42, fold=5, verbose=False)

setup() が自動で実行する処理：

これが 1行のコードで済むのが AutoML の強み。手動なら 20 行以上になります。

3compare_models() の仕組み

top3_models = compare_models(n_select=3, sort='AUC')

内部で以下を自動実行します：

• 15〜20種類のモデルを候補に
• 各モデルで 5-Fold CV を実行
• AUC・Accuracy・F1 などを計算
• sort='AUC' で AUC 降順にソート

4AutoGluon の presets とスコアの関係

5leaderboard() でスタッキングアンサンブルを確認

lb = predictor.leaderboard(val_df, silent=True)
print(lb[['model', 'score_val', 'pred_time_val', 'fit_time']])

score_val が検証データでの AUC スコア。通常 WeightedEnsemble_L2 がトップになります。これは各モデルの予測確率を「最適な重みで加重平均」したものです。

🧮 AUC の直感的理解（文系向け）

なぜ Accuracy より AUC が良いか？ → Titanic は 生存者:死亡者 = 38%:62% の不均衡データです。「全員死亡」と予測するだけで Accuracy 62% になってしまいます。AUC はこの不均衡の影響を受けにくい指標です。

🏆 Kaggleでの実践的な使い方

AutoMLで銅メダルまで取れる？

多くのコンペで AutoGluon（best_quality）は銅メダル圏に達することがあります。ただし：

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: AutoGluon の best_quality + カスタム特徴量で House Prices に挑戦し、手動 LightGBM のスコアと比較する
• 次回予告: Kaggle API — データダウンロード・提出の自動化（Day 087）

📝 自己評価（解いた後に記入）