Day 098 — Aggregation特徴量 — groupby統計量・差分・比率特徴量

📚 背景知識（読んでから問題へ）

🧩 Aggregation特徴量を作る3つのテクニック

🎯 問題

あるECサイトの注文明細データ（1行＝1注文）があります。顧客ごとの「普段の購買行動」を特徴量として取り出し、後続のモデル（不正注文検知・離脱予測など）に渡せる形に整えるタスクです。

import numpy as np
import pandas as pd

np.random.seed(42)
n_orders = 3000
n_customers = 400

customer_id = np.random.choice(
    [f"cust_{i:04d}" for i in range(n_customers)], n_orders
)
category = np.random.choice(
    ["食品", "家電", "衣料", "書籍", "日用品"], n_orders,
    p=[0.35, 0.15, 0.20, 0.10, 0.20]
)
order_date = pd.to_datetime("2026-01-01") + pd.to_timedelta(
    np.random.randint(0, 180, n_orders), unit="D"
)
amount_yen = (np.random.gamma(shape=2.0, scale=1500, size=n_orders) + 300).round(-1)

orders = pd.DataFrame({
    "order_id": np.arange(n_orders),
    "customer_id": customer_id,
    "category": category,
    "order_date": order_date,
    "amount_yen": amount_yen,
})

タスク

⚖️ 差分特徴量 と 比率特徴量 はどう違うか

「平均より+1000円」という差分は、顧客ごとの金銭感覚の違いを無視してしまう。比率にすると、平均額のレベルが違っても相対的な立ち位置を揃えて比較できる。

📊 集約の「粒度」を変えると特徴量が広がる

同じ「集約→比率」というテクニックでも、groupbyのキーを変えるだけで意味の異なる特徴量が量産できる。

💡 ヒント

# タスク2: 顧客単位の集約
customer_agg = orders.groupby("customer_id").agg(
    order_count=("amount_yen", "count"),
    amount_mean=("amount_yen", "mean"),
    amount_std=("amount_yen", "std"),
    amount_max=("amount_yen", "max"),
    category_nunique=("category", "nunique"),
).reset_index()

# タスク3: transformで行ごとに顧客平均を付与 → 差分・比率
orders["cust_amount_mean"] = orders.groupby("customer_id")["amount_yen"].transform(___)
orders["amount_diff_from_cust_mean"] = orders["amount_yen"] - orders[___]
orders["amount_ratio_to_cust_mean"] = orders["amount_yen"] / orders[___]

# タスク4: カテゴリ単位も同様に
orders["cat_amount_mean"] = orders.groupby(___)["amount_yen"].transform("mean")
orders["amount_ratio_to_cat_mean"] = orders["amount_yen"] / orders[___]

# タスク5: 注文1回だけの顧客のstdを確認
customer_agg[customer_agg["order_count"] == 1][["customer_id", "order_count", "amount_std"]].head()

✅ 模範解答

import numpy as np
import pandas as pd

# ====== データ準備 ======
np.random.seed(42)
n_orders = 3000
n_customers = 400

customer_id = np.random.choice(
    [f"cust_{i:04d}" for i in range(n_customers)], n_orders
)
category = np.random.choice(
    ["食品", "家電", "衣料", "書籍", "日用品"], n_orders,
    p=[0.35, 0.15, 0.20, 0.10, 0.20]
)
order_date = pd.to_datetime("2026-01-01") + pd.to_timedelta(
    np.random.randint(0, 180, n_orders), unit="D"
)
amount_yen = (np.random.gamma(shape=2.0, scale=1500, size=n_orders) + 300).round(-1)

orders = pd.DataFrame({
    "order_id": np.arange(n_orders),
    "customer_id": customer_id,
    "category": category,
    "order_date": order_date,
    "amount_yen": amount_yen,
})

# ====== タスク2: 顧客単位の集約特徴量（customer_agg） ======
customer_agg = orders.groupby("customer_id").agg(
    order_count=("amount_yen", "count"),
    amount_mean=("amount_yen", "mean"),
    amount_std=("amount_yen", "std"),
    amount_max=("amount_yen", "max"),
    category_nunique=("category", "nunique"),
).reset_index()

print("--- タスク2: customer_agg ---")
print(customer_agg.head())
print(f"顧客数: {customer_agg.shape[0]}")

# ====== タスク3: transformで顧客平均を付与 → 差分・比率特徴量 ======
orders["cust_amount_mean"] = orders.groupby("customer_id")["amount_yen"].transform("mean")
orders["amount_diff_from_cust_mean"] = orders["amount_yen"] - orders["cust_amount_mean"]
orders["amount_ratio_to_cust_mean"] = orders["amount_yen"] / orders["cust_amount_mean"]

# ====== タスク4: カテゴリ単位の比率特徴量 ======
orders["cat_amount_mean"] = orders.groupby("category")["amount_yen"].transform("mean")
orders["amount_ratio_to_cat_mean"] = orders["amount_yen"] / orders["cat_amount_mean"]

print("\n--- タスク3・4: 行ごとの相対特徴量 ---")
cols = ["customer_id", "category", "amount_yen", "cust_amount_mean",
        "amount_diff_from_cust_mean", "amount_ratio_to_cust_mean",
        "cat_amount_mean", "amount_ratio_to_cat_mean"]
print(orders[cols].head(8).round(2))

# ====== タスク5: 注文1回だけの顧客のstdを確認 ======
single_order_customers = customer_agg[customer_agg["order_count"] == 1]
print(f"\n--- タスク5: 注文1回だけの顧客数: {len(single_order_customers)} ---")
print(single_order_customers[["customer_id", "order_count", "amount_std"]].head())

# 欠損への対処例: 「新規/少数注文フラグ」を立てた上でstdは0埋め
customer_agg["is_single_order"] = (customer_agg["order_count"] == 1).astype(int)
customer_agg["amount_std_filled"] = customer_agg["amount_std"].fillna(0)

🪜 Step-by-Step 解説

1agg()で「グループの代表値」を求める

customer_agg = orders.groupby("customer_id").agg(
    order_count=("amount_yen", "count"),
    amount_mean=("amount_yen", "mean"),
    amount_std=("amount_yen", "std"),
    amount_max=("amount_yen", "max"),
    category_nunique=("category", "nunique"),
).reset_index()

2transform()で集約結果を「元の行数のまま」貼り付ける

orders["cust_amount_mean"] = orders.groupby("customer_id")["amount_yen"].transform("mean")

3差分（引き算）と比率（割り算）で「相対値」に変換する

orders["amount_diff_from_cust_mean"] = orders["amount_yen"] - orders["cust_amount_mean"]
orders["amount_ratio_to_cust_mean"] = orders["amount_yen"] / orders["cust_amount_mean"]

4集約の「キー（粒度）」を変えると別の切り口の特徴量になる

orders["cat_amount_mean"] = orders.groupby("category")["amount_yen"].transform("mean")
orders["amount_ratio_to_cat_mean"] = orders["amount_yen"] / orders["cat_amount_mean"]

5集約件数が少ないグループの扱いを決める

customer_agg["is_single_order"] = (customer_agg["order_count"] == 1).astype(int)
customer_agg["amount_std_filled"] = customer_agg["amount_std"].fillna(0)

🧮 数学・統計の補足（文系向け）

数式を見たら

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☐ 自然言語処理（NLP） / ☐ 画像認識（CV） / ☑ 時系列（Time Series）

• 不正検知系コンペ（例: IEEE-CIS Fraud Detection）: カード番号・デバイスID単位で「過去の平均取引額との比率」「同一デバイスからの取引回数」などのAggregation特徴量が上位解法で必ずと言っていいほど使われる
• 需要予測・購買予測系コンペ（例: Instacart Market Basket Analysis）: 「そのユーザーがそのカテゴリを買う頻度」「カート内の平均商品数との比較」など、ユーザー粒度・商品粒度・カテゴリ粒度で何十〜何百もの集約特徴量を作り込むのが定番戦略
• 与信・金融系コンペ（例: Home Credit Default Risk）: 顧客ごとの過去の申込・返済履歴をAggregationし、「過去の平均返済額に対して今回の申込額はどれくらい大きいか」といった比率特徴量が重要な予測因子になる

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: groupby(["customer_id", "category"])のように複数キーの組み合わせで集約し、「この顧客はこのカテゴリで普段どれくらい使うか」というより粒度の細かい特徴量を作ってみる
• 次回予告: Day 099「Rolling・Lag特徴量」 — 時系列データへの応用。今日の「グループ全体の平均」から一歩進み、「直近N件だけの平均」「1つ前の注文額」など時間の前後関係を考慮した集約に挑戦します

📝 自己評価（解いた後に記入）