Day 093 — LightGBM① 実装 — XGBoostとの違い・高速化の理由

📚 背景知識（読んでから問題へ）

🌳 木の育て方の違い（同じ葉4枚でも形が変わる）

🎯 問題

Day 091-092 と同じ「賃貸物件の家賃予測」データを使います。同じ train/test 分割にすることで、XGBoostとLightGBMの結果を直接比較できるようにします。

import numpy as np
import pandas as pd

np.random.seed(42)
n = 200

area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)

rent_man_yen = (
    3.0
    + area_m2 * 0.25
    - age_years * 0.05
    - station_dist_min * 0.15
    + np.random.normal(0, 1.0, n)
).clip(3.0, None)

df = pd.DataFrame({
    "area_m2": area_m2,
    "age_years": age_years,
    "station_dist_min": station_dist_min,
    "rent_man_yen": rent_man_yen,
})

タスク

📊 XGBoost vs LightGBM（出力例・同一データ n=200）

乱数シードにより多少前後するが、n=200という小さいデータでは精度・速度ともに大差がつきにくいことを実測で確認する。

📉 num_leaves を大きくすると何が起きるか（出力例）

💡 ヒント

import time
import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

X = df[["area_m2", "age_years", "station_dist_min"]]
y = df["rent_man_yen"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

train_set = lgb.Dataset(X_train, label=y_train)
valid_set = lgb.Dataset(X_test, label=y_test, reference=___)

params = {
    "objective": "regression",
    "metric": "rmse",
    "learning_rate": 0.1,
    "num_leaves": 15,
    "verbose": -1,
    "seed": 42,
}

t0 = time.perf_counter()
bst = lgb.train(
    params, train_set,
    num_boost_round=1000,
    valid_sets=[___],
    callbacks=[lgb.early_stopping(___), lgb.log_evaluation(0)],
)
lgb_time = time.perf_counter() - t0

print("best_iteration:", bst.___)

y_pred = bst.predict(X_test, num_iteration=bst.best_iteration)
lgb_rmse = mean_squared_error(y_test, y_pred, squared=___)
print("LightGBM RMSE:", lgb_rmse)

# num_leaves のグリッド探索
results = []
for nl in [7, 15, 31, 63]:
    p = {**params, "num_leaves": nl}
    cv_results = lgb.cv(
        p, train_set,
        num_boost_round=1000,
        nfold=5,
        stratified=False,
        seed=42,
        callbacks=[lgb.early_stopping(30, verbose=False)],
    )
    scores = cv_results["___"]
    results.append({"num_leaves": nl, "best_round": len(scores), "best_rmse": min(scores)})

print(pd.DataFrame(results))

✅ 模範解答

import numpy as np
import pandas as pd
import time
import lightgbm as lgb
import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# --- データ準備（Day 091-092と同じ） ---
np.random.seed(42)
n = 200
area_m2 = np.random.normal(45, 15, n).clip(15, 100)
age_years = np.random.randint(0, 35, n)
station_dist_min = np.random.normal(8, 4, n).clip(1, 25)
rent_man_yen = (
    3.0 + area_m2 * 0.25 - age_years * 0.05 - station_dist_min * 0.15
    + np.random.normal(0, 1.0, n)
).clip(3.0, None)

df = pd.DataFrame({
    "area_m2": area_m2,
    "age_years": age_years,
    "station_dist_min": station_dist_min,
    "rent_man_yen": rent_man_yen,
})

# --- 1. train/testに分割（Day091と同じ random_state=42） ---
X = df[["area_m2", "age_years", "station_dist_min"]]
y = df["rent_man_yen"]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# --- 2. lgb.Datasetに変換 ---
train_set = lgb.Dataset(X_train, label=y_train)
valid_set = lgb.Dataset(X_test, label=y_test, reference=train_set)

# --- 3. 学習（early stopping付き） ---
params = {
    "objective": "regression",
    "metric": "rmse",
    "learning_rate": 0.1,
    "num_leaves": 15,
    "verbose": -1,
    "seed": 42,
}

t0 = time.perf_counter()
bst = lgb.train(
    params, train_set,
    num_boost_round=1000,
    valid_sets=[valid_set],
    callbacks=[lgb.early_stopping(20), lgb.log_evaluation(0)],
)
lgb_time = time.perf_counter() - t0
print("best_iteration:", bst.best_iteration)

# --- 4. テストRMSE ---
y_pred = bst.predict(X_test, num_iteration=bst.best_iteration)
lgb_rmse = mean_squared_error(y_test, y_pred, squared=False)
print(f"LightGBM テストRMSE: {lgb_rmse:.4f} 万円")

# --- 5. XGBoostとの時間・精度比較（Day091と同パラメータ） ---
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)
xgb_params = {"objective": "reg:squarederror", "eta": 0.1, "max_depth": 4, "eval_metric": "rmse", "seed": 42}

t0 = time.perf_counter()
xgb_bst = xgb.train(
    xgb_params, dtrain,
    num_boost_round=500,
    evals=[(dtrain, "train"), (dtest, "eval")],
    early_stopping_rounds=20,
    verbose_eval=False,
)
xgb_time = time.perf_counter() - t0

xgb_pred = xgb_bst.predict(dtest, iteration_range=(0, xgb_bst.best_iteration + 1))
xgb_rmse = mean_squared_error(y_test, xgb_pred, squared=False)

print(f"\n--- XGBoost vs LightGBM(n={n})---")
print(f"XGBoost   : RMSE={xgb_rmse:.4f}, 学習時間={xgb_time*1000:.1f}ms, 木の本数={xgb_bst.best_iteration}")
print(f"LightGBM  : RMSE={lgb_rmse:.4f}, 学習時間={lgb_time*1000:.1f}ms, 木の本数={bst.best_iteration}")

# --- 6. num_leaves のグリッド探索 ---
results = []
for nl in [7, 15, 31, 63]:
    p = {**params, "num_leaves": nl}
    cv_results = lgb.cv(
        p, train_set,
        num_boost_round=1000,
        nfold=5,
        stratified=False,
        seed=42,
        callbacks=[lgb.early_stopping(30, verbose=False)],
    )
    scores = cv_results["rmse-mean"]
    results.append({"num_leaves": nl, "best_round": len(scores), "best_rmse": min(scores)})

results_df = pd.DataFrame(results)
print("\nnum_leaves グリッド探索結果:")
print(results_df)

# 出力例:
# best_iteration: 4x
# LightGBM テストRMSE: 1.0x 万円
#
# --- XGBoost vs LightGBM(n=200)---
# XGBoost   : RMSE=1.0x, 学習時間=15.x ms, 木の本数=3x
# LightGBM  : RMSE=1.0x, 学習時間=12.x ms, 木の本数=4x
#   （n=200程度ではプロセス起動・ロギングのオーバーヘッドが支配的で、
#     アルゴリズムそのものの速度差はほぼ見えない）
#
# num_leaves グリッド探索結果:
#    num_leaves  best_round  best_rmse
# 0           7          ..        1.0x
# 1          15          ..        1.0x   ← 最良付近
# 2          31          ..        1.1x   ← 悪化し始める
# 3          63          ..        1.2x   ← 過学習でさらに悪化

🪜 Step-by-Step 解説

1lgb.Dataset への変換（reference の役割）

train_set = lgb.Dataset(X_train, label=y_train)
valid_set = lgb.Dataset(X_test, label=y_test, reference=train_set)

2early stopping を callbacks で指定する

bst = lgb.train(params, train_set, num_boost_round=1000,
                 valid_sets=[valid_set],
                 callbacks=[lgb.early_stopping(20), lgb.log_evaluation(0)])

3XGBoostと同じ分割・同じ土俵で精度を比較する

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

4学習時間を計測し「n=200では差が出ない」ことを確認する

t0 = time.perf_counter()
# ... 学習 ...
elapsed = time.perf_counter() - t0

5num_leaves のグリッド探索で「leaf-wiseの危うさ」を数値で見る

for nl in [7, 15, 31, 63]:
    p = {**params, "num_leaves": nl}
    cv_results = lgb.cv(p, train_set, ...)

🧮 数学・統計の補足（文系向け）

身近な例: num_leaves と max_depth の換算

num_leavesとmax_depthはどちらも「複雑さの上限」だが単位が違う。完全に均等な木なら「深さ$d$ ⇔ 葉$2^d$枚」という関係が成り立つ（例: 深さ4なら葉16枚）。しかしleaf-wiseの木はいびつな形になるため、この関係は目安に過ぎない。LightGBM公式ドキュメントも「num_leavesは2^(max_depth)より小さく設定するのが過学習対策として無難」と案内している。

もし数式を見たら

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 画像認識（CV） / ☑ 時系列（Time Series）

数万〜数百万行、数百以上の特徴量を持つKaggleのTabularコンペでは、XGBoostよりLightGBMの方が学習が明確に高速なため、「まずLightGBMで大量の特徴量候補・パラメータを高速に試し、最終盤でXGBoost/CatBoostも加えてアンサンブルする」という使い分けが定番。また、categorical_featureパラメータで整数エンコードしたカテゴリ変数をそのまま渡せる点も、One-Hotで次元が爆発しがちな高カーディナリティ特徴量を扱う際に重宝される（詳細はDay094）。

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: boosting_type="dart" を試して、通常のGBDTと精度・学習時間がどう変わるか比較してみる
• 次回予告: Day 094「LightGBM② 高度な使い方」 — DART・GOSS・カテゴリ変数のネイティブ対応など、LightGBM特有の高度な機能を学ぶ

📝 自己評価（解いた後に記入）