Day 041 — pandas入門（groupby・集計・ピボット）

📚 背景知識（読んでから問題へ）

groupby は 「グループ別に計算する」 操作です。Excel のピボットテーブルを Python で再現するようなイメージです。「性別ごとの生存率」「チケットクラスごとの平均運賃」など、Kaggle の EDA で最も頻繁に使われるパターンです。

groupby の 3 ステップ（Split → Apply → Combine）

主な集計関数

🗂️ データスキーマ

架空のタイタニック号風データ（乗客7名分）を使用します。

青行 = Female（F）、オレンジ行 = Male（M）。groupby("Sex") でこの色単位にまとめられます。

📝 問題

📋 コピーimport pandas as pd
import numpy as np

data = {
    "Name":     ["Alice", "Bob", "Carol", "Dave", "Eve", "Frank", "Grace"],
    "Sex":      ["F", "M", "F", "M", "F", "M", "F"],
    "Pclass":   [1, 3, 2, 3, 1, 2, 2],
    "Age":      [22, 35, 28, 45, 19, 30, 26],
    "Fare":     [71.28, 7.25, 13.00, 8.05, 71.00, 21.00, 13.50],
    "Survived": [1, 0, 1, 0, 1, 0, 1],
}
df = pd.DataFrame(data)

🔍 ヒント（段階的開示）

📋 コピー# 問1
df.groupby("Sex")["Survived"].mean()

# 問2
df.groupby("Pclass")["Fare"].agg(["mean", "max", "min"])

# 問3
df.groupby(["Sex", "Pclass"])["Age"].mean()

# 問4
pd.pivot_table(df, values="Survived", index="Sex",
               columns="Pclass", aggfunc="mean", fill_value=0)

📋 コピー# 問1
survival_by_sex = df.groupby(___)[___].___()

# 問2
fare_stats = df.groupby(___)[___].agg([___, ___, ___])

# 問3
age_by_group = df.groupby([___, ___])[___].___()

# 問4
pivot = pd.pivot_table(df, values=___, index=___, columns=___, aggfunc=___)

✅ 模範解答

📋 コピーimport pandas as pd
import numpy as np

data = {
    "Name":     ["Alice", "Bob", "Carol", "Dave", "Eve", "Frank", "Grace"],
    "Sex":      ["F", "M", "F", "M", "F", "M", "F"],
    "Pclass":   [1, 3, 2, 3, 1, 2, 2],
    "Age":      [22, 35, 28, 45, 19, 30, 26],
    "Fare":     [71.28, 7.25, 13.00, 8.05, 71.00, 21.00, 13.50],
    "Survived": [1, 0, 1, 0, 1, 0, 1],
}
df = pd.DataFrame(data)

# 問1: 性別ごとの生存率
survival_by_sex = df.groupby("Sex")["Survived"].mean()
print("性別ごとの生存率:")
print(survival_by_sex)
# Sex
# F    1.0
# M    0.0

# 問2: Pclassごとの運賃統計
fare_stats = df.groupby("Pclass")["Fare"].agg(["mean", "max", "min"])
print("\nチケットクラスごとの運賃統計:")
print(fare_stats)
# Pclass      mean    max    min
# 1       71.140  71.28  71.00
# 2       15.833  21.00  13.00
# 3        7.650   8.05   7.25

# 問3: 複数列グループ化
age_by_group = df.groupby(["Sex", "Pclass"])["Age"].mean()
print("\n性別×クラスごとの平均年齢:")
print(age_by_group)

# 問4: ピボットテーブル
pivot = pd.pivot_table(
    df,
    values="Survived",
    index="Sex",
    columns="Pclass",
    aggfunc="mean",
    fill_value=0
)
print("\nピボットテーブル（生存率）:")
print(pivot)

Pclassごとの運賃統計（出力イメージ）

🪜 Step-by-Step 解説

Step 1: groupby の「分割→集計」メカニズム

📋 コピーdf.groupby("Sex")["Survived"].mean()

内部では以下の 3 ステップが走っています：

1. Split: groupby("Sex") で Sex が同じ行を 1 グループにまとめる（F グループ: 行 0/2/4/6、M グループ: 行 1/3/5）
2. Apply: ["Survived"].mean() を各グループに適用（F: (1+1+1+1)/4 = 1.0、M: (0+0+0)/3 = 0.0）
3. Combine: 結果を Series として返す

Step 2: .agg() で複数集計を一度に

📋 コピーdf.groupby("Pclass")["Fare"].agg(["mean", "max", "min"])

.mean() を 3 回書く代わりに、agg() にリストを渡すと DataFrame 形式で複数の集計結果が一度に得られます。Kaggle の EDA ノートブックで頻出のパターンです。

Step 3: 複数列 groupby はリストで

📋 コピーdf.groupby(["Sex", "Pclass"])["Age"].mean()

groupby() にリスト ["Sex", "Pclass"] を渡すと、組み合わせ（F×1, F×2, M×2, M×3 など）でグループが作られます。結果の index は MultiIndex（2 階層）になります。

Step 4: pivot_table でクロス集計表

📋 コピーpd.pivot_table(df, values="Survived", index="Sex",
               columns="Pclass", aggfunc="mean", fill_value=0)

📊 生存率グラフ（問1の結果）

生存率バー（視覚確認）

🔲 ピボットテーブル（問4の結果）

pd.pivot_table() で生成されるクロス集計表の出力イメージ：

🔢 数学・統計の補足（文系向け）

「0/1 データの平均 = 割合」の原理

Survived 列は 0（死亡）か 1（生存）の 2 値です。女性 4 名のデータが [1, 1, 1, 1] なので：

(1 + 1 + 1 + 1) / 4 = 4 / 4 = 1.0

「生存した人数 / 全人数」と同じ計算になります。これは 0/1 データ（二値データ）の重要な性質で、平均 = 割合（比率） になります。

MultiIndex（2 階層インデックス）のイメージ

groupby(["Sex", "Pclass"]) の結果の index は入れ子になっています：

F → 1 : 22.0（Alice の年齢）
F → 2 : 27.0（Carol と Grace の平均年齢）
M → 2 : 30.0（Frank の年齢）
M → 3 : 40.0（Bob と Dave の平均年齢）

Excel の「セルの結合」を使った集計表のようなイメージです。

🏆 Kaggleでの実践的な使い方

特徴量エンジニアリングへの応用

📋 コピー# グループ統計を元のDataFrameに結合する実践的パターン
fare_mean_by_class = train.groupby("Pclass")["Fare"].mean()
train["FareMeanByPclass"] = train["Pclass"].map(fare_mean_by_class)

# グループ内での正規化（transform を使う）
train["FareZscoreByPclass"] = train.groupby("Pclass")["Fare"].transform(
    lambda x: (x - x.mean()) / x.std()
)

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展1: groupby + transform() でグループ内の正規化・ランキング
• 発展2: df.merge() / pd.concat() でテーブルを結合する
• 次回予告: pandas 続編 — loc / iloc を使った高度なインデックス操作と apply() 関数

📋 自己評価（解いた後に記入）