Day 078 — Kaggleのコンペ構造 — データ・評価指標・提出形式の読み方

📚 背景知識（読んでから問題へ）

📋 コンペページの構成

最初の5分でやること

• 1️⃣ Overview タブ → 評価指標を確認（最重要）
• 2️⃣ Data タブ → ファイル一覧・説明を確認
• 3️⃣ sample_submission.csv をダウンロード → 提出形式を確認
• 4️⃣ train.csv を shape / dtypes / describe で把握
• 5️⃣ Rules タブ → 1日の提出上限・チームサイズを確認

📏 評価指標一覧

📊 RMSE vs RMSLE — 誤差の捉え方の違い

住宅価格のような広範囲の値には RMSLE が適切です。なぜか可視化で確認しましょう。

RMSLE 実装

import numpy as np
from sklearn.metrics import mean_squared_error

def rmsle(y_true, y_pred):
    """Root Mean Squared Logarithmic Error"""
    y_pred = np.maximum(y_pred, 0)  # 負の値をクリップ
    return np.sqrt(mean_squared_error(
        np.log1p(y_true),   # log(1 + y_true)
        np.log1p(y_pred)    # log(1 + y_pred)
    ))

# RMSLE 最適化のための log1p 変換
y_log = np.log1p(y_train)     # 学習時: y を変換
model.fit(X_train, y_log)
preds_log = model.predict(X_test)
preds_final = np.expm1(preds_log)  # 予測後: 逆変換

評価指標別の RMSLE スコア感

📄 提出形式（Submission Format）

sample_submission.csv を必ずダウンロードして確認します。これがそのまま提出フォーマットです。

典型的な提出形式

import pandas as pd
import numpy as np

# ① sample_submission を読み込む
sample_sub = pd.read_csv('sample_submission.csv')
print(sample_sub.head())      # フォーマットを把握
print(sample_sub.columns.tolist())  # カラム名を確認

# ② test['Id'] を使って作成（行インデックスは使わない）
submission = pd.DataFrame({
    'Id': test['Id'],          # ← 必ず Id 列を使う
    'SalePrice': preds_final   # ← 予測値
})

# ③ バリデーション
assert len(submission) == len(sample_sub), "行数が違います"
assert not submission.isnull().any().any(), "NaN が含まれています"

# ④ 保存
submission.to_csv('submission.csv', index=False)  # index=False 必須
print(f"保存完了: {len(submission)} 行")

🏅 Public LB vs Private LB

🎯 問題

問題1: RMSLEとRMSEの違いを直感的に説明する

なぜ住宅価格にRMSLEが使われるのか、RMSEとの違いを直感的な言葉で説明してください。

問題2: submission.csv を作成する

import pandas as pd
import numpy as np
from sklearn.linear_model import Ridge

train = pd.read_csv('train.csv')
test  = pd.read_csv('test.csv')
sample_sub = pd.read_csv('sample_submission.csv')

features = ['GrLivArea', 'BedroomAbvGr', 'FullBath']
X_train = train[features].fillna(0)
y_train = train['SalePrice']
X_test  = test[features].fillna(0)

model = Ridge()
model.fit(X_train, y_train)
preds = model.predict(X_test)

# ここから: submission.csv を作成してください

問題3: RMSLE 最適化のための log1p 変換

RMSLE を最適化するには、目的変数を log1p 変換してから学習し、予測後に逆変換します。コードを完成させてください。

# 問題3: log1p 変換を使って RMSLE を最適化するコードを書いてください
# ヒント: np.log1p() でlog変換、np.expm1() で逆変換

💡 ヒント

# 問題2
submission = pd.DataFrame({
    'Id': test['Id'],
    'SalePrice': preds
})
submission.to_csv('submission.csv', index=False)

# 問題3
y_log = np.log1p(y_train)   # log変換
model.fit(X_train, y_log)
preds_log = model.predict(X_test)
preds_final = np.expm1(preds_log)  # 逆変換

✅ 模範解答

問題1: RMSLEとRMSEの違い

問題2: submission.csv の作成

# ... （上のコードの続き）

# submission.csv の作成
submission = pd.DataFrame({
    'Id': test['Id'],       # test の Id 列をそのまま使う
    'SalePrice': preds      # 予測値
})

# 確認
print(submission.shape)    # (1459, 2)
print(submission.head())
print(f"予測値の範囲: {preds.min():.0f} 〜 {preds.max():.0f}")

# 負の値チェック（住宅価格が負はあり得ない）
assert (preds > 0).all(), "負の予測値が含まれています！"

submission.to_csv('submission.csv', index=False)
print("submission.csv を保存しました")

問題3: RMSLE 最適化（log1p 変換）

import numpy as np
from sklearn.metrics import mean_squared_error

def rmsle(y_true, y_pred):
    y_pred = np.maximum(y_pred, 0)
    return np.sqrt(mean_squared_error(np.log1p(y_true), np.log1p(y_pred)))

# ─── RMSE で学習（基準）───
model_rmse = Ridge()
model_rmse.fit(X_train, y_train)
preds_rmse = model_rmse.predict(X_test)

# ─── log1p 変換で学習（RMSLE 最適化）───
y_log = np.log1p(y_train)     # log(1 + y) ← y=0 でも安全

model_rmsle = Ridge()
model_rmsle.fit(X_train, y_log)
preds_log = model_rmsle.predict(X_test)
preds_final = np.expm1(preds_log)  # exp(pred) - 1 ← log1p の逆変換

# 訓練データで効果確認
preds_train_rmse = model_rmse.predict(X_train)
preds_train_log  = np.expm1(model_rmsle.predict(X_train))

print(f"RMSE モデルの RMSLE:  {rmsle(y_train, preds_train_rmse):.4f}")
print(f"RMSLE モデルの RMSLE: {rmsle(y_train, preds_train_log):.4f}")
# → log変換モデルの方がRMSLEスコアが低い（良い）はず

# 提出
submission = pd.DataFrame({'Id': test['Id'], 'SalePrice': preds_final})
submission.to_csv('submission.csv', index=False)

🪜 Step-by-Step: 初回提出までの流れ

🔍 提出前バリデーション

def validate_submission(sub_df, sample_sub_df):
    """提出ファイルの検証"""
    # カラム名チェック
    assert list(sub_df.columns) == list(sample_sub_df.columns), \
        f"カラム名が違います: {sub_df.columns.tolist()}"

    # 行数チェック
    assert len(sub_df) == len(sample_sub_df), \
        f"行数が違います: {len(sub_df)} vs {len(sample_sub_df)}"

    # Id の一致チェック
    assert (sub_df['Id'].values == sample_sub_df['Id'].values).all(), \
        "Id の順序・内容が sample_submission と一致しません"

    # NaN チェック
    assert not sub_df.isnull().any().any(), "NaN が含まれています"

    print("✅ 提出ファイルの検証OK")

validate_submission(submission, sample_sub)

⚡ よくある誤解・ミス

🚀 次のステップ

• 発展: Kaggle Notebooks タブで上位ノートブックを精読する手順（Day 079）
• 実践: House Prices コンペに実際に登録し、ベースラインを提出してみる
• 次回予告 (Day 079): Kaggle ノートブックの読み方 — 上位ノートブック精読の手順

📝 自己評価（解いた後に記入）