Day 097 — Optuna高度な使い方 — Pruning・並列化・可視化

📚 背景知識（読んでから問題へ）

⚡ 探索を高速化する3つの技術

🎯 問題

Day 095/096 と同じ CatBoost × 家賃データ（district 30種類・n=800）を使います。今日は Day 096 の objective(trial) 関数を拡張し、Pruning・可視化まで組み込みます。

import numpy as np
import pandas as pd

np.random.seed(42)
n = 800

area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)

layout = np.random.choice(["1K", "1DK", "1LDK", "2LDK", "3LDK"], n,
                          p=[0.30, 0.15, 0.25, 0.20, 0.10])
structure = np.random.choice(["木造", "鉄骨", "RC"], n, p=[0.45, 0.30, 0.25])

districts = [f"area_{i:02d}" for i in range(30)]
district = np.random.choice(districts, n)
district_base = {d: v for d, v in zip(districts, np.random.uniform(0, 5, 30))}

layout_effect = pd.Series(layout).map(
    {"1K": 0.0, "1DK": 1.0, "1LDK": 2.5, "2LDK": 4.0, "3LDK": 6.0}).values
structure_effect = pd.Series(structure).map(
    {"木造": 0.0, "鉄骨": 0.8, "RC": 1.8}).values
district_effect = pd.Series(district).map(district_base).values

rent_man_yen = (
    3.0 + area_m2 * 0.20 - age_years * 0.05 - station_dist_min * 0.15
    + layout_effect + structure_effect + district_effect + np.random.normal(0, 1.0, n)
).clip(3.0, None)

df = pd.DataFrame({
    "area_m2": area_m2, "age_years": age_years, "station_dist_min": station_dist_min,
    "layout": layout, "structure": structure, "district": district,
    "rent_man_yen": rent_man_yen,
})

タスク

✂️ MedianPruner はどう「打ち切り」を判断するか

5-fold CVの各fold終了時点で「ここまでの累積平均RMSE」を報告する。同じstepの過去trialの中央値より明らかに悪いtrialは、残りのfoldを回さずに打ち切られる。

📊 Pruningの効果（出力例・50 trial）

見込みのないtrialの残りfoldをスキップすることで、同じ50 trialでも実際に最後まで学習する回数が減り、その分だけ多くの候補を試せるようになる。

💡 ヒント

def objective(trial):
    params = {...}
    kf = KFold(n_splits=5, shuffle=True, random_state=42)
    rmses = []
    for fold_idx, (tr, va) in enumerate(kf.split(X_train)):
        m = CatBoostRegressor(**params)
        m.fit(X_train.iloc[tr], y_train.iloc[tr])
        rmses.append(mean_squared_error(y_train.iloc[va], m.predict(X_train.iloc[va]), squared=False))

        interim = np.mean(rmses)
        trial.report(___, step=___)          # 何を・どのstepで報告するか
        if trial.___():                       # 打ち切り判定
            raise optuna.___()                 # 打ち切り実行

    return np.mean(rmses)

study = optuna.create_study(
    direction="minimize",
    sampler=optuna.samplers.TPESampler(seed=42),
    pruner=optuna.pruners.MedianPruner(n_startup_trials=___, n_warmup_steps=___),
)
study.optimize(objective, n_trials=___)

pruned = [t for t in study.trials if t.state == optuna.trial.TrialState.PRUNED]
completed = [t for t in study.trials if t.state == optuna.trial.TrialState.COMPLETE]
print(f"完了: {len(completed)} / 打ち切り: {len(pruned)}")

✅ 模範解答

import numpy as np
import pandas as pd
import optuna
from catboost import CatBoostRegressor
from sklearn.model_selection import KFold, train_test_split
from sklearn.metrics import mean_squared_error

optuna.logging.set_verbosity(optuna.logging.WARNING)

# ====== データ準備（Day095/096と同一） ======
np.random.seed(42)
n = 800
area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)
layout = np.random.choice(["1K", "1DK", "1LDK", "2LDK", "3LDK"], n,
                          p=[0.30, 0.15, 0.25, 0.20, 0.10])
structure = np.random.choice(["木造", "鉄骨", "RC"], n, p=[0.45, 0.30, 0.25])
districts = [f"area_{i:02d}" for i in range(30)]
district = np.random.choice(districts, n)
district_base = {d: v for d, v in zip(districts, np.random.uniform(0, 5, 30))}
layout_effect = pd.Series(layout).map(
    {"1K": 0.0, "1DK": 1.0, "1LDK": 2.5, "2LDK": 4.0, "3LDK": 6.0}).values
structure_effect = pd.Series(structure).map(
    {"木造": 0.0, "鉄骨": 0.8, "RC": 1.8}).values
district_effect = pd.Series(district).map(district_base).values
rent_man_yen = (
    3.0 + area_m2 * 0.20 - age_years * 0.05 - station_dist_min * 0.15
    + layout_effect + structure_effect + district_effect + np.random.normal(0, 1.0, n)
).clip(3.0, None)
df = pd.DataFrame({
    "area_m2": area_m2, "age_years": age_years, "station_dist_min": station_dist_min,
    "layout": layout, "structure": structure, "district": district,
    "rent_man_yen": rent_man_yen,
})

cat_cols = ["layout", "structure", "district"]
num_cols = ["area_m2", "age_years", "station_dist_min"]
X = df[num_cols + cat_cols]
y = df["rent_man_yen"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# ====== タスク2: Pruning対応 objective関数 ======
def objective(trial):
    params = {
        "iterations": 400,
        "learning_rate": trial.suggest_float("learning_rate", 0.01, 0.3, log=True),
        "depth": trial.suggest_int("depth", 3, 10),
        "l2_leaf_reg": trial.suggest_float("l2_leaf_reg", 0.01, 10.0, log=True),
        "subsample": trial.suggest_float("subsample", 0.5, 1.0),
        "random_strength": trial.suggest_float("random_strength", 1e-3, 10.0, log=True),
        "bootstrap_type": "Bernoulli",
        "cat_features": cat_cols,
        "random_state": 42, "verbose": 0,
    }
    kf = KFold(n_splits=5, shuffle=True, random_state=42)
    rmses = []
    for fold_idx, (tr, va) in enumerate(kf.split(X_train)):
        m = CatBoostRegressor(**params)
        m.fit(X_train.iloc[tr], y_train.iloc[tr])
        pred = m.predict(X_train.iloc[va])
        rmses.append(mean_squared_error(y_train.iloc[va], pred, squared=False))

        interim_value = np.mean(rmses)          # ここまでの累積平均RMSE
        trial.report(interim_value, step=fold_idx)
        if trial.should_prune():
            raise optuna.TrialPruned()            # このtrialを打ち切る

    return np.mean(rmses)

# ====== タスク3: Pruner付きStudyで最適化 ======
study = optuna.create_study(
    direction="minimize",
    sampler=optuna.samplers.TPESampler(seed=42),
    pruner=optuna.pruners.MedianPruner(n_startup_trials=5, n_warmup_steps=2),
)
study.optimize(objective, n_trials=50)

pruned = [t for t in study.trials if t.state == optuna.trial.TrialState.PRUNED]
completed = [t for t in study.trials if t.state == optuna.trial.TrialState.COMPLETE]
print("--- タスク3: Pruning集計 ---")
print(f"完了trial数: {len(completed)} / 打ち切りtrial数: {len(pruned)} / 全trial数: {len(study.trials)}")
print(f"best_value (CV RMSE): {study.best_value:.4f}")
print(f"best_params: {study.best_params}")

# ====== タスク4: 可視化 ======
import optuna.visualization.matplotlib as opt_mpl
import matplotlib.pyplot as plt

opt_mpl.plot_optimization_history(study)
plt.tight_layout()
plt.savefig("optuna_history.png")   # Colab/Jupyterならplt.show()でも可

opt_mpl.plot_param_importances(study)
plt.tight_layout()
plt.savefig("optuna_importances.png")

# ====== タスク5: 並列化（実行例） ======
# n_jobs=-1 は「in-processのマルチスレッド」で並列化する。
# study_parallel = optuna.create_study(direction="minimize")
# study_parallel.optimize(objective, n_trials=50, n_jobs=-1)
#
# 複数プロセス／複数マシンで本当に分散したい場合は、studyをメモリ上ではなく
# 共有ストレージ（SQLite/MySQL等）に置き、同じ study_name で各プロセスが
# optuna.load_study(study_name=..., storage="sqlite:///study.db") してから
# それぞれ study.optimize(...) を呼び出す構成にする。

🪜 Step-by-Step 解説

1trial.report()は「記録するだけ」、判定は別

interim_value = np.mean(rmses)
trial.report(interim_value, step=fold_idx)

2should_prune()がTrueなら自分でraiseする

if trial.should_prune():
    raise optuna.TrialPruned()

3n_startup_trialsとn_warmup_stepsが「早すぎる判断」を防ぐ

pruner=optuna.pruners.MedianPruner(n_startup_trials=5, n_warmup_steps=2)

4plot_optimization_historyとplot_param_importancesで探索を振り返る

opt_mpl.plot_optimization_history(study)
opt_mpl.plot_param_importances(study)

5並列化は「手軽なn_jobs」と「本格的な共有ストレージ」の2段階

🧮 数学・統計の補足（文系向け）

数式を見たら

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☑ 時系列（Time Series）

• Pruning: NN系のコンペ（画像・NLP）では「epoch単位」でreportし、序盤のlossが悪いtrialを早期に打ち切るのが定番。GBDT系でも今日のように「CV fold単位」や「boosting round単位」（optuna.integrationの各種PruningCallback）で使え、大規模データ・多いtrial数のコンペほど時間短縮効果が大きい
• 可視化からの再探索: plot_param_importancesで「効かないパラメータ」を洗い出し固定値にして探索空間を削減、浮いたtrial予算を「効くパラメータ」の細かい探索に回すのが実務・コンペ双方でよく行われる二段構えの最適化
• 並列化と計算資源: Kaggleノートブックの実行時間制限内でn_trialsを稼ぐために、ローカルマシンやクラウドインスタンスで共有ストレージを使ったマルチプロセス最適化を回し、結果だけをノートブックに取り込む運用も上位陣ではよく見られる

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: optuna.integrationの各種Pruningコールバック（LightGBM用のLightGBMPruningCallbackなど）を使い、CV fold単位ではなくboosting round単位でのPruningを試してみる
• 次回予告: Day 098「Aggregation特徴量」 — groupby統計量・差分・比率特徴量。パラメータチューニングから一旦離れ、モデルに渡す「材料」そのものを強くする特徴量エンジニアリングの本丸に戻ります

📝 自己評価（解いた後に記入）