Day 079 — Kaggle ノートブックの読み方 — 上位ノートブック精読の手順

📚 背景知識（読んでから問題へ）

🏅 公開ノートブックの品質基準

🔍 上位ノートブックの読み方（5ステップ）

🎯 問題

import pandas as pd
import numpy as np

train = pd.read_csv('train.csv')
test  = pd.read_csv('test.csv')

# ─── 特徴量エンジニアリング ───

# (A) 敬称の抽出
for df in [train, test]:
    df['Title'] = df['Name'].str.extract(r',\s*([^\.]+)\.')
    df['Title'] = df['Title'].replace(['Lady', 'Countess', 'Capt', 'Col', 'Don',
                                        'Dr', 'Major', 'Rev', 'Sir', 'Jonkheer', 'Dona'],
                                       'Rare')
    df['Title'] = df['Title'].map({'Mr': 0, 'Miss': 1, 'Mrs': 2, 'Master': 3, 'Rare': 4})
    df['Title'] = df['Title'].fillna(0)

# (B) 家族サイズの作成
for df in [train, test]:
    df['FamilySize'] = df['SibSp'] + df['Parch'] + 1
    df['IsAlone'] = (df['FamilySize'] == 1).astype(int)

# (C) 年齢の欠損値補完
for df in [train, test]:
    age_median = df.groupby(['Pclass', 'Title'])['Age'].transform('median')
    df['Age'] = df['Age'].fillna(age_median)

# (D) 運賃のbin化
for df in [train, test]:
    df['FareBin'] = pd.qcut(df['Fare'].fillna(df['Fare'].median()), q=4, labels=False)

問題1: 正規表現 r',\s*([^\.]+)\.' を解説する

'Mr. John Smith' から何を取り出しているのか、正規表現の各要素を説明してください。

問題2: より良い年齢補完方法を実装する

コード (C) の補完より精度が高い、Sex も考慮した補完方法をコードで示してください。

問題3: FamilyGroup を作成する関数を実装する

FamilySize から FamilyGroup（1人=Alone, 2-4人=Small, 5人以上=Large）を作る関数を完成させてください。

def make_family_group(df):
    """FamilySize を3カテゴリに変換する"""
    # ここを実装してください
    pass

for df in [train, test]:
    make_family_group(df)

💡 ヒント

# 問題2（Sexも考慮）
for df in [train, test]:
    age_median = df.groupby(['Pclass', 'Sex'])['Age'].transform('median')
    df['Age'] = df['Age'].fillna(age_median)

# 問題3
def make_family_group(df):
    conditions = [
        df['FamilySize'] == 1,
        (df['FamilySize'] >= 2) & (df['FamilySize'] <= 4),
        df['FamilySize'] >= 5
    ]
    choices = ['Alone', 'Small', 'Large']
    df['FamilyGroup'] = np.select(conditions, choices, default='Alone')
    return df

✅ 解答1: 正規表現の解説

import re

test_names = [
    "Braund, Mr. Owen Harris",
    "Heikkinen, Miss. Laina",
    "Allen, Mrs. William Henry",
    "Palsson, Master. Gosta Leonard"
]

for name in test_names:
    match = re.search(r',\s*([^\.]+)\.', name)
    print(f"{name:<40} → Title: {match.group(1) if match else None}")

# 出力:
# Braund, Mr. Owen Harris          → Title: Mr
# Heikkinen, Miss. Laina           → Title: Miss
# Allen, Mrs. William Henry        → Title: Mrs
# Palsson, Master. Gosta Leonard   → Title: Master

✅ 解答2: より良い年齢補完

# ─── 方法3: Pclass × Sex の中央値で補完（改善版）───
for df in [train, test]:
    age_med = df.groupby(['Pclass', 'Sex'])['Age'].transform('median')
    df['Age'] = df['Age'].fillna(age_med)

# ─── 方法4: 3段階フォールバック（さらに丁寧）───
for df in [train, test]:
    # まず細粒度 Pclass×Sex×Title で補完
    age_fine   = df.groupby(['Pclass', 'Sex', 'Title'])['Age'].transform('median')
    # 残った NaN を Pclass×Sex で補完
    age_coarse = df.groupby(['Pclass', 'Sex'])['Age'].transform('median')
    # それでも残った NaN を全体中央値で補完
    df['Age'] = (df['Age']
                 .fillna(age_fine)
                 .fillna(age_coarse)
                 .fillna(df['Age'].median()))

# グループ別の年齢中央値を確認
print(train.groupby(['Pclass', 'Sex'])['Age'].median())
# Pclass  Sex   
# 1       female    35.0
# 1       male      40.0
# 2       female    28.0
# 2       male      30.0
# 3       female    21.5
# 3       male      25.0

✅ 解答3: FamilyGroup の作成

import numpy as np

def make_family_group(df):
    """FamilySize を3カテゴリに変換する"""
    conditions = [
        df['FamilySize'] == 1,                                    # Alone
        (df['FamilySize'] >= 2) & (df['FamilySize'] <= 4),       # Small
        df['FamilySize'] >= 5                                       # Large
    ]
    choices = ['Alone', 'Small', 'Large']
    df['FamilyGroup'] = np.select(conditions, choices, default='Alone')
    return df

# train, test に適用
for df in [train, test]:
    make_family_group(df)

# 分布確認
print(train['FamilyGroup'].value_counts())

# グループ別生存率確認（なぜこの分け方が有効か）
print("\n--- FamilyGroup 別生存率 ---")
print(train.groupby('FamilyGroup')['Survived'].mean().sort_values(ascending=False))
# Small  0.58  ← 小家族は互いに助け合えて生存率高
# Alone  0.30  ← 孤独な旅行者は低め
# Large  0.16  ← 大家族は脱出困難で最も低い

🪜 Step-by-Step: ノートブック活用サイクル

🛠️ よくある特徴量エンジニアリングパターン

# 6パターンの実装例（Titanic）
for df in [train, test]:
    # パターン1: 文字列から抽出
    df['NameLength'] = df['Name'].str.len()

    # パターン2: 組み合わせ
    df['FamilySize'] = df['SibSp'] + df['Parch'] + 1

    # パターン3: Bin化
    df['AgeBin'] = pd.cut(df['Age'], bins=[0, 12, 18, 35, 60, 100],
                          labels=['Child', 'Teen', 'Adult', 'Middle', 'Senior'])

    # パターン4: 交互作用
    df['Pclass_Sex'] = df['Pclass'].astype(str) + '_' + df['Sex']

    # パターン5: グループ集計
    df['Ticket_Count'] = df.groupby('Ticket')['Ticket'].transform('count')

    # パターン6: 欠損値を特徴量化
    df['Has_Cabin'] = df['Cabin'].notna().astype(int)  # Cabin がある = 裕福 → 生存率高

📊 Titanic 生存率の可視化（特徴量の有効性確認）

生存率の差 = 特徴量の有効性

📋 Titanic で有効な特徴量（上位ノートブックより）

⚡ よくある誤解・ミス

🚀 次のステップ

• 発展: クロスバリデーションの設計（Stratified K-Fold / Group K-Fold の使い分け）
• 実践: Titanic コンペの上位ノートブックを1件精読し、自分のコードに1つ手法を追加してみる
• 次回予告 (Day 080): CV の設計戦略 — Titanic で Stratified K-Fold を使った正確なモデル評価

📝 自己評価（解いた後に記入）