Day 044 — 欠損値の確認と対処

📚 背景知識（読んでから問題へ）

データ分析で避けられないのが「欠損値（missing value）」です。Kaggleのコンペデータにはほぼ必ず欠損が含まれており、適切に処理しないとモデルがエラーになったり、予測精度が大きく落ちたりします。

欠損値の3種類

主要な3つのメソッド

🗂️ データスキーマ

今回使用するタイタニック風データ（10行8列）のスキーマです。

📊 欠損状況ビジュアル

各列の Non-Null Count（欠損ゼロ行数）の棒グラフです。全10行中、赤・黄の列に欠損があります。

🎯 補完戦略の選び方

📝 問題

📋 コピーimport pandas as pd
import numpy as np

data = {
    "PassengerId": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    "Survived":   [0, 1, 1, 1, 0, 0, 0, 0, 1, 1],
    "Pclass":     [3, 1, 3, 1, 3, 3, 1, 3, 3, 2],
    "Sex":        ["male","female","female","female","male","male","male","male","female","female"],
    "Age":        [22.0, 38.0, 26.0, 35.0, np.nan, np.nan, 54.0, 2.0, 27.0, 14.0],
    "SibSp":      [1, 1, 0, 1, 0, 0, 0, 3, 0, 1],
    "Fare":       [7.25, 71.28, np.nan, 53.10, 8.05, 8.46, 51.86, 21.07, 11.13, np.nan],
    "Embarked":   ["S", "C", "S", "S", "S", np.nan, "S", "S", "S", "C"],
}
df = pd.DataFrame(data)

🔍 ヒント（段階的開示）

📋 コピー# タスク1
missing_count = df.isna().sum()
missing_rate  = df.isna().mean() * 100

# タスク2 — グループ別中央値で補完
df["Age"] = df.groupby("Sex")["Age"].transform(
    lambda x: x.fillna(x.median())
)
# Fare — Pclassごとの平均
df["Fare"] = df.groupby("Pclass")["Fare"].transform(
    lambda x: x.fillna(x.mean())
)

# タスク3 — 最頻値補完
df["Embarked"] = df["Embarked"].fillna(df["Embarked"].mode()[0])

# タスク4
assert df.isna().sum().sum() == 0

📋 コピー# タスク1
missing_count = df.isna().__()
missing_rate  = df.isna().___(___) * 100

# タスク2
df["Age"] = df.groupby(___)[___].transform(
    lambda x: x.fillna(x.___())
)
df["Fare"] = df.groupby(___)[___].transform(
    lambda x: x.fillna(x.___())
)

# タスク3
df["Embarked"] = df["Embarked"].fillna(df["Embarked"].___()[___])

# タスク4
assert df.isna().___().___() == 0

✅ 模範解答

📋 コピーimport pandas as pd
import numpy as np

data = {
    "PassengerId": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    "Survived":   [0, 1, 1, 1, 0, 0, 0, 0, 1, 1],
    "Pclass":     [3, 1, 3, 1, 3, 3, 1, 3, 3, 2],
    "Sex":        ["male","female","female","female","male","male","male","male","female","female"],
    "Age":        [22.0, 38.0, 26.0, 35.0, np.nan, np.nan, 54.0, 2.0, 27.0, 14.0],
    "SibSp":      [1, 1, 0, 1, 0, 0, 0, 3, 0, 1],
    "Fare":       [7.25, 71.28, np.nan, 53.10, 8.05, 8.46, 51.86, 21.07, 11.13, np.nan],
    "Embarked":   ["S", "C", "S", "S", "S", np.nan, "S", "S", "S", "C"],
}
df = pd.DataFrame(data)

# ── タスク1: 欠損状況の全体把握 ──
missing_count = df.isna().sum()
missing_rate  = df.isna().mean() * 100

print("=== タスク1: 欠損状況 ===")
for col in df.columns:
    cnt  = int(missing_count[col])
    rate = missing_rate[col]
    if cnt > 0:
        print(f"  {col:<12}: {cnt}件 ({rate:.1f}%)")
    else:
        print(f"  {col:<12}: 欠損なし")
# Age      : 2件 (20.0%)
# Fare     : 2件 (20.0%)
# Embarked : 1件 (10.0%)

# ── タスク2: 数値列の欠損補完 ──
# Age — 性別ごとの中央値で補完
df["Age"] = df.groupby("Sex")["Age"].transform(
    lambda x: x.fillna(x.median())
)

# Fare — Pclassごとの平均で補完
df["Fare"] = df.groupby("Pclass")["Fare"].transform(
    lambda x: x.fillna(x.mean())
)

print("\n=== タスク2: 補完後 Age・Fare ===")
print(df[["PassengerId","Sex","Pclass","Age","Fare"]])

# ── タスク3: カテゴリ変数の欠損補完 ──
embarked_mode = df["Embarked"].mode()[0]  # "S"
df["Embarked"] = df["Embarked"].fillna(embarked_mode)

print(f"\n=== タスク3: Embarked 最頻値='{embarked_mode}' で補完済み ===")

# ── タスク4: 欠損ゼロ確認 ──
total_missing = df.isna().sum().sum()
print(f"\n=== タスク4: 残り欠損数 = {total_missing} ===")
assert total_missing == 0, "まだ欠損が残っています！"
print("全欠損の補完が完了しました ✓")

補完前後の比較

青文字 = 補完された値 | 赤文字 = 補完前の NaN

Age male 中央値: {22.0, 54.0, 2.0} → 22.0 | Fare Pclass=3 平均: (7.25+8.05+8.46+21.07+11.13)/5 = 11.19... ※行3はfemaleでPclass=3 → 同クラス平均で補完 | Fare Pclass=2 平均: 30.07 (行10のみ)

🪜 Step-by-Step 解説

1 isna() → sum() で欠損を数える

isna() は DataFrame 全体を True/False の DataFrame に変換します。True = 欠損。sum() は True を 1、False を 0 として合計するため、各列の欠損数が得られます。mean() は True の割合（0〜1）を返すので、×100 でパーセントになります。

2 groupby + transform でグループ別補完

📋 コピーdf["Age"] = df.groupby("Sex")["Age"].transform(
    lambda x: x.fillna(x.median())
)

groupby("Sex") で男性グループと女性グループに分割 → 各グループ内で x.fillna(x.median()) を実行 → transform で元の行数に戻してから代入します。単純な fillna(全体中央値) より精度が上がります。

3 mode()[0] で最頻値を取り出す

📋 コピーembarked_mode = df["Embarked"].mode()[0]  # "S"
df["Embarked"] = df["Embarked"].fillna(embarked_mode)

mode() は最頻値が複数ある場合も考慮してリスト（Series）を返します。最頻値が1つの場合でも [0] でスカラーを取り出す必要があります。直接 .fillna(df["Embarked"].mode()) と書くと型が合わず警告が出ることがあります。

4 isna().sum().sum() で全欠損をゼロ確認

📋 コピーassert df.isna().sum().sum() == 0

isna().sum() は各列の欠損数（Series） → 最後の .sum() でそれを合計し、全欠損数を1つの数値で得ます。assert は条件が偽のとき AssertionError を発生させるため、補完漏れを自動検出できます。

⚙️ transform vs agg — なぜ transform が必要か

df.groupby("Sex")["Age"].agg("median")
# Sex
# female    30.5
# male      22.0
# → 2行しか返らない！

df.groupby("Sex")["Age"].transform("median")
# 0    30.5  (female)
# 1    30.5  (female)
# 4    22.0  (male)
# → 元の行数（10行）で返る！

🔢 数学・統計の補足（文系向け）

補完はなぜ必要か — 欠損値とモデルの関係

scikit-learnの機械学習モデルは「全ての値が埋まっているDataFrame」を期待しています。NaNが1つでも残っていると、モデル学習時に ValueError: Input contains NaN が発生します。これがKaggleで欠損値処理が必須の理由です。

平均と中央値のどちらを使うか

Age列の値を考えてみましょう。若い人（2歳）と高齢者（54歳）が混在しており、運賃も7.25〜71.28と大きく差があります。このような「外れ値がある分布」では中央値のほうが外れ値の影響を受けないため、補完に適しています。

例: [2, 22, 27, 54] の平均 = 26.25 / 中央値 = (22+27)/2 = 24.5
54という大きな値が平均を引き上げているが、中央値は影響を受けない

isna().sum() の仕組み — Trueを「1」として足す

Pythonでは True == 1、False == 0 です。これを使うと sum() が「True（欠損）の個数」を返すことになります。mean() は合計/件数なので、欠損率が返ります。

🏆 Kaggleでの実践的な使い方

Titanic コンペで実際に使われる欠損値対処テンプレートです。

📋 コピーimport pandas as pd

train = pd.read_csv("train.csv")
test  = pd.read_csv("test.csv")

# ① 欠損状況を一気に確認（欠損のある列だけ表示）
missing_summary = pd.DataFrame({
    "count": train.isnull().sum(),
    "rate(%)": (train.isnull().mean() * 100).round(1)
}).query("count > 0")
print(missing_summary)

# ② Age: 性別×クラスのグループ中央値で補完（精度が上がる）
for df in [train, test]:
    df["Age"] = df.groupby(["Sex", "Pclass"])["Age"].transform(
        lambda x: x.fillna(x.median())
    )

# ③ Embarked: 最頻値補完（欠損は2件のみ）
train["Embarked"] = train["Embarked"].fillna(train["Embarked"].mode()[0])

# ④ Fare: Pclassごとの中央値で補完（test に1件欠損）
test["Fare"] = test.groupby("Pclass")["Fare"].transform(
    lambda x: x.fillna(x.median())
)

# ⑤ Cabin: 欠損が77%と多い → 新特徴量 "has_cabin" に変換
for df in [train, test]:
    df["has_cabin"] = df["Cabin"].notna().astype(int)
    df.drop("Cabin", axis=1, inplace=True)

# ⑥ 最終確認
print("Train missing:", train.isnull().sum().sum())
print("Test missing: ", test.isnull().sum().sum())

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: df.isnull().sum() のヒートマップ可視化（seaborn.heatmap(df.isnull())）で欠損パターンを視覚的に把握する
• 次回予告: データの可視化（matplotlib / seaborn でのヒストグラム・散布図・ボックスプロット）

📋 自己評価（解いた後に記入）