Day 096 — Optuna基礎 — Study・Trial・パラメータ空間定義

📚 背景知識（読んでから問題へ）

🧭 3つの探索戦略

🎯 問題

Day 095 の CatBoost で使った高カーディナリティ家賃データ（district 30種類・n=800）を使います。今日は CatBoost のハイパーパラメータを Optuna で自動探索します。

import numpy as np
import pandas as pd

np.random.seed(42)
n = 800

area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)

layout = np.random.choice(["1K", "1DK", "1LDK", "2LDK", "3LDK"], n,
                          p=[0.30, 0.15, 0.25, 0.20, 0.10])
structure = np.random.choice(["木造", "鉄骨", "RC"], n, p=[0.45, 0.30, 0.25])

districts = [f"area_{i:02d}" for i in range(30)]
district = np.random.choice(districts, n)
district_base = {d: v for d, v in zip(districts, np.random.uniform(0, 5, 30))}

layout_effect = pd.Series(layout).map(
    {"1K": 0.0, "1DK": 1.0, "1LDK": 2.5, "2LDK": 4.0, "3LDK": 6.0}).values
structure_effect = pd.Series(structure).map(
    {"木造": 0.0, "鉄骨": 0.8, "RC": 1.8}).values
district_effect = pd.Series(district).map(district_base).values

rent_man_yen = (
    3.0 + area_m2 * 0.20 - age_years * 0.05 - station_dist_min * 0.15
    + layout_effect + structure_effect + district_effect + np.random.normal(0, 1.0, n)
).clip(3.0, None)

df = pd.DataFrame({
    "area_m2": area_m2, "age_years": age_years, "station_dist_min": station_dist_min,
    "layout": layout, "structure": structure, "district": district,
    "rent_man_yen": rent_man_yen,
})

タスク

🧠 TPE はどう「次の一手」を決めるか

グリッド/ランダムは過去の結果を見ずに次を選ぶが、TPEは「良かった試行」と「悪かった試行」の分布を別々に作り、両者の比率が高い値を次の候補にする。試せば試すほど探索が賢くなる。

📊 デフォルト vs Optunaチューニング（出力例）

CatBoostはデフォルトでも堅いモデルなので改善幅は小さめだが、「探索の仕組みを自分で組める」ことが今日の到達点。

💡 ヒント

import optuna
from catboost import CatBoostRegressor
from sklearn.model_selection import KFold, train_test_split
from sklearn.metrics import mean_squared_error

cat_cols = ["layout", "structure", "district"]
num_cols = ["area_m2", "age_years", "station_dist_min"]
X = df[num_cols + cat_cols]
y = df["rent_man_yen"]

def objective(trial):
    params = {
        "iterations": 400,
        "learning_rate": trial.suggest_float("learning_rate", ___, ___, log=True),
        "depth": trial.suggest_int("depth", ___, ___),
        "l2_leaf_reg": trial.suggest_float("l2_leaf_reg", ___, ___, log=True),
        "subsample": trial.suggest_float("subsample", ___, ___),
        "random_strength": trial.suggest_float("random_strength", ___, ___, log=True),
        "bootstrap_type": "Bernoulli",
        "cat_features": cat_cols,
        "random_state": 42, "verbose": 0,
    }
    kf = KFold(n_splits=5, shuffle=True, random_state=42)
    rmses = []
    for tr, va in kf.split(X):
        m = CatBoostRegressor(**params)
        m.fit(X.iloc[tr], y.iloc[tr])
        rmses.append(mean_squared_error(y.iloc[va], m.predict(X.iloc[va]), squared=False))
    return np.mean(rmses)

study = optuna.create_study(direction=___, sampler=optuna.samplers.TPESampler(seed=42))
study.optimize(objective, n_trials=___)
print(study.best_params, study.best_value)

✅ 模範解答

import numpy as np
import pandas as pd
import optuna
from catboost import CatBoostRegressor
from sklearn.model_selection import KFold, train_test_split
from sklearn.metrics import mean_squared_error

optuna.logging.set_verbosity(optuna.logging.WARNING)  # ログを静かに

# ====== データ準備（Day095と同一） ======
np.random.seed(42)
n = 800
area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)
layout = np.random.choice(["1K", "1DK", "1LDK", "2LDK", "3LDK"], n,
                          p=[0.30, 0.15, 0.25, 0.20, 0.10])
structure = np.random.choice(["木造", "鉄骨", "RC"], n, p=[0.45, 0.30, 0.25])
districts = [f"area_{i:02d}" for i in range(30)]
district = np.random.choice(districts, n)
district_base = {d: v for d, v in zip(districts, np.random.uniform(0, 5, 30))}
layout_effect = pd.Series(layout).map(
    {"1K": 0.0, "1DK": 1.0, "1LDK": 2.5, "2LDK": 4.0, "3LDK": 6.0}).values
structure_effect = pd.Series(structure).map(
    {"木造": 0.0, "鉄骨": 0.8, "RC": 1.8}).values
district_effect = pd.Series(district).map(district_base).values
rent_man_yen = (
    3.0 + area_m2 * 0.20 - age_years * 0.05 - station_dist_min * 0.15
    + layout_effect + structure_effect + district_effect + np.random.normal(0, 1.0, n)
).clip(3.0, None)
df = pd.DataFrame({
    "area_m2": area_m2, "age_years": age_years, "station_dist_min": station_dist_min,
    "layout": layout, "structure": structure, "district": district,
    "rent_man_yen": rent_man_yen,
})

cat_cols = ["layout", "structure", "district"]
num_cols = ["area_m2", "age_years", "station_dist_min"]
X = df[num_cols + cat_cols]
y = df["rent_man_yen"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# ====== タスク2-3: objective関数 & Study ======
def objective(trial):
    params = {
        "iterations": 400,
        "learning_rate": trial.suggest_float("learning_rate", 0.01, 0.3, log=True),
        "depth": trial.suggest_int("depth", 3, 10),
        "l2_leaf_reg": trial.suggest_float("l2_leaf_reg", 0.01, 10.0, log=True),
        "subsample": trial.suggest_float("subsample", 0.5, 1.0),
        "random_strength": trial.suggest_float("random_strength", 1e-3, 10.0, log=True),
        "bootstrap_type": "Bernoulli",   # subsampleを使うために必須
        "cat_features": cat_cols,
        "random_state": 42, "verbose": 0,
    }
    kf = KFold(n_splits=5, shuffle=True, random_state=42)
    rmses = []
    for tr, va in kf.split(X_train):
        m = CatBoostRegressor(**params)
        m.fit(X_train.iloc[tr], y_train.iloc[tr])
        pred = m.predict(X_train.iloc[va])
        rmses.append(mean_squared_error(y_train.iloc[va], pred, squared=False))
    return np.mean(rmses)

study = optuna.create_study(direction="minimize", sampler=optuna.samplers.TPESampler(seed=42))
study.optimize(objective, n_trials=30)

print("--- タスク3: 最適化結果 ---")
print(f"best_value (CV RMSE): {study.best_value:.4f}")
print(f"best_params: {study.best_params}")

# ====== タスク4: trials_dataframe で上位5件 ======
trials_df = study.trials_dataframe()
top5 = trials_df.sort_values("value").head(5)[
    ["number", "value", "params_learning_rate", "params_depth",
     "params_l2_leaf_reg", "params_subsample", "params_random_strength"]
]
print("\n--- タスク4: 上位5trial ---")
print(top5)

# ====== タスク5: デフォルト vs Optunaチューニング後の test RMSE ======
default_model = CatBoostRegressor(
    iterations=400, learning_rate=0.05, depth=6,
    cat_features=cat_cols, random_state=42, verbose=0,
)
default_model.fit(X_train, y_train)
default_rmse = mean_squared_error(y_test, default_model.predict(X_test), squared=False)

tuned_model = CatBoostRegressor(
    iterations=400, **study.best_params,
    bootstrap_type="Bernoulli", cat_features=cat_cols,
    random_state=42, verbose=0,
)
tuned_model.fit(X_train, y_train)
tuned_rmse = mean_squared_error(y_test, tuned_model.predict(X_test), squared=False)

print("\n--- タスク5: デフォルト vs Optunaチューニング（test RMSE）---")
print(f"デフォルト (lr=0.05, depth=6)   : {default_rmse:.4f} 万円")
print(f"Optunaベスト（30試行）          : {tuned_rmse:.4f} 万円")
print(f"改善幅: {default_rmse - tuned_rmse:+.4f} 万円")

# 出力例（乱数・環境で多少前後）:
# best_value (CV RMSE): 1.0x
# best_params: {'learning_rate': 0.0x, 'depth': 6, 'l2_leaf_reg': 0.x, 'subsample': 0.8x, ...}
# デフォルト (lr=0.05, depth=6)   : 1.0x 万円
# Optunaベスト（30試行）          : 0.9x 万円   ← わずかに改善

🪜 Step-by-Step 解説

1objective関数は「パラメータ→スコア」を返す1つの関数

def objective(trial):
    params = {...}   # trial.suggest_* でパラメータを決める
    return np.mean(rmses)   # 最小化したい値を1つ返す

2suggest_* がそのままパラメータ空間の定義になる

trial.suggest_float("learning_rate", 0.01, 0.3, log=True)
trial.suggest_int("depth", 3, 10)

3Studyが「実験全体」、Trialが「1回分」

study = optuna.create_study(direction="minimize", sampler=optuna.samplers.TPESampler(seed=42))
study.optimize(objective, n_trials=30)

4trials_dataframe() で探索の過程を丸ごと確認

trials_df = study.trials_dataframe()
trials_df.sort_values("value").head(5)

5デフォルトと比較して初めて「チューニングの価値」がわかる

🧮 数学・統計の補足（文系向け）

数式を見たら

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☑ 時系列（Time Series）

Optuna はモデルの種類を問わず使える汎用ツールなので、Kaggleのほぼ全カテゴリのコンペで使われます。

• Tabular（GBDT系）: XGBoost/LightGBM/CatBoost のハイパラ探索は Optuna が事実上の標準。上位ノートブックの多くが optuna.create_study から始まる
• 探索の設計が腕の見せ所: 範囲を広く取りすぎると無駄な試行が増え、狭すぎると良い値を逃す。まず粗い範囲で少ないtrial数（10〜20）を回し、trials_dataframe() で当たりを付けてから範囲を絞って本番探索（100+trial）をするのが定石
• 計算資源との兼ね合い: 実行時間制限があるため n_trials を闇雲に増やすのではなく、次テーマの Pruning（見込みのない試行を早期に打ち切る）と組み合わせて効率化するのが実務での使い方

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: optuna.visualization.matplotlib.plot_optimization_history(study) や plot_param_importances(study) を使い、どのパラメータがスコアに一番効いているかを可視化してみる
• 次回予告: Day 097「Optuna高度な使い方」 — Pruning（見込みのない試行の早期打ち切り）・並列化・可視化。今日のobjective関数をベースに無駄な計算を削って探索を高速化する

📝 自己評価（解いた後に記入）