Day 092 — XGBoost② パラメータ — max_depth・eta・subsample の意味

📚 背景知識（読んでから問題へ）

🎛️ 3つのツマミ（大きくすると何が起きるか）

🎯 問題

Part A: 理論（自分の言葉で説明してみる）

Part B: コーディング（Day 091の家賃データを使用）

import numpy as np
import pandas as pd

np.random.seed(42)
n = 200

area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)

rent_man_yen = (
    3.0
    + area_m2 * 0.25
    - age_years * 0.05
    - station_dist_min * 0.15
    + np.random.normal(0, 1.0, n)
).clip(3.0, None)

df = pd.DataFrame({
    "area_m2": area_m2,
    "age_years": age_years,
    "station_dist_min": station_dist_min,
    "rent_man_yen": rent_man_yen,
})

タスク

📊 eta を下げると必要な木の本数はどう変わるか（出力例）

模範解答コードを実行した際の出力例（乱数シードにより多少前後する）。1歩の大きさ（eta）が小さいほど、目的地に着くまでの歩数（best_round）が増える。

💡 ヒント

import itertools
import xgboost as xgb

dtrain = xgb.DMatrix(df[["area_m2", "age_years", "station_dist_min"]], label=df["rent_man_yen"])

etas = [0.3, 0.1, 0.05]
max_depths = [2, 4, 6]

results = []
for eta, depth in itertools.product(___, ___):
    params = {
        "objective": "reg:squarederror",
        "eta": eta,
        "max_depth": depth,
        "eval_metric": "rmse",
        "seed": 42,
    }
    cv_results = xgb.cv(
        params, dtrain,
        num_boost_round=___,
        nfold=5,
        early_stopping_rounds=___,
        metrics="rmse",
        as_pandas=True,
        seed=42,
    )
    best_round = cv_results["test-rmse-mean"].___()
    best_rmse = cv_results["test-rmse-mean"].___()
    results.append({"eta": eta, "max_depth": depth, "best_round": best_round, "best_rmse": best_rmse})

results_df = pd.DataFrame(results).sort_values(___)
print(results_df)

✅ 模範解答

Part A: 理論の模範解答

Part B: コーディングの模範解答

import numpy as np
import pandas as pd
import xgboost as xgb
import itertools

# --- データ準備（Day 091と同じ） ---
np.random.seed(42)
n = 200
area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)
rent_man_yen = (
    3.0 + area_m2 * 0.25 - age_years * 0.05 - station_dist_min * 0.15
    + np.random.normal(0, 1.0, n)
).clip(3.0, None)

df = pd.DataFrame({
    "area_m2": area_m2,
    "age_years": age_years,
    "station_dist_min": station_dist_min,
    "rent_man_yen": rent_man_yen,
})

dtrain = xgb.DMatrix(df[["area_m2", "age_years", "station_dist_min"]], label=df["rent_man_yen"])

# --- 1&2. eta x max_depth のグリッド探索 ---
etas = [0.3, 0.1, 0.05]
max_depths = [2, 4, 6]

results = []
for eta, depth in itertools.product(etas, max_depths):
    params = {
        "objective": "reg:squarederror",
        "eta": eta,
        "max_depth": depth,
        "eval_metric": "rmse",
        "seed": 42,
    }
    cv_results = xgb.cv(
        params, dtrain,
        num_boost_round=1000,
        nfold=5,
        early_stopping_rounds=30,
        metrics="rmse",
        as_pandas=True,
        seed=42,
    )
    best_round = cv_results["test-rmse-mean"].idxmin()
    best_rmse = cv_results["test-rmse-mean"].min()
    results.append({"eta": eta, "max_depth": depth, "best_round": best_round, "best_rmse": best_rmse})

results_df = pd.DataFrame(results).sort_values("best_rmse").reset_index(drop=True)
print(results_df)

best_row = results_df.iloc[0]
print(f"\nベスト組み合わせ: eta={best_row['eta']}, max_depth={best_row['max_depth']}, "
      f"best_round={best_row['best_round']}, best_rmse={best_row['best_rmse']:.4f}")

# --- 3. eta と best_round の関係を確認 ---
print("\neta別の平均best_round:")
print(results_df.groupby("eta")["best_round"].mean().sort_index(ascending=False))

# --- 4. subsampleの比較 ---
for subsample in [1.0, 0.8]:
    params = {
        "objective": "reg:squarederror",
        "eta": best_row["eta"],
        "max_depth": int(best_row["max_depth"]),
        "subsample": subsample,
        "eval_metric": "rmse",
        "seed": 42,
    }
    cv_results = xgb.cv(
        params, dtrain,
        num_boost_round=1000,
        nfold=5,
        early_stopping_rounds=30,
        metrics="rmse",
        as_pandas=True,
        seed=42,
    )
    print(f"subsample={subsample}: best_rmse={cv_results['test-rmse-mean'].min():.4f}, "
          f"best_round={cv_results['test-rmse-mean'].idxmin()}")

# 出力例:
#      eta  max_depth  best_round  best_rmse
# 0   0.05          2         210     1.0812
# 1   0.10          2         103     1.0839
# 2   0.05          4          95     1.0921
# ...（eta=0.3, max_depth=6 は過学習気味でRMSEが相対的に悪化しやすい）
#
# eta別の平均best_round:
# eta
# 0.30     28.0
# 0.10     84.3
# 0.05    168.7
#
# subsample=1.0: best_rmse=1.0812, best_round=210
# subsample=0.8: best_rmse=1.07xx, best_round=2xx

🪜 Step-by-Step 解説

1eta x max_depth の全組み合わせをループする

for eta, depth in itertools.product(etas, max_depths):
    ...

2各組み合わせで xgb.cv を実行し、結果を貯める

best_round = cv_results["test-rmse-mean"].idxmin()
best_rmse = cv_results["test-rmse-mean"].min()
results.append({...})

3eta と best_round の関係を確認する

results_df.groupby("eta")["best_round"].mean().sort_index(ascending=False)

4subsample を変えて過学習抑制効果を見る

for subsample in [1.0, 0.8]:
    ...

🧮 数学・統計の補足（文系向け）

身近な例: 抽選で選ばれる80人

subsample=0.8は、100人のクラスから毎回ランダムに80人だけを選んでテストの傾向分析をするようなもの。同じ80人を使わず毎回メンバーを入れ替えることで、「たまたまその80人に多かった特徴」に分析結果が引きずられにくくなる。これが複数の木に渡って行われることで、モデル全体としてより汎用的な判断ができるようになる。

もし数式を見たら

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 画像認識（CV） / ☑ 時系列（Time Series）

Kaggle上位者の典型的な流れは「まずetaをやや大きめ（0.1前後）にして高速に探索 → 有望な特徴量・構造が見えてきたらetaを小さく（0.01〜0.03）してnum_boost_roundを増やし、early_stopping_roundsで自動的に止める」という2段階。ラフスケッチで方向性を決めてから清書は丁寧に描く、のと同じ発想。max_depthはTabularコンペでは3〜8程度が多く使われ、subsample/colsample_bytreeは0.6〜0.9あたりがよく試されるレンジ。

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: colsample_bytree（列のサブサンプリング）も加えた3パラメータのグリッド探索を試してみる
• 次回予告: Day 093「LightGBM① 実装」 — XGBoostとの違いと、なぜLightGBMの方が高速なのかを理論と実装の両面から学ぶ

📝 自己評価（解いた後に記入）