Day 144 — コンペ戦略④ — メダル圏内までの距離の見積もり

📚 背景知識（読んでから問題へ）

🎯 問題

タスクA（戦略・記述）

コンペ終了まで残り12日、現在のPublic LBスコアは0.815、Goldカットオフラインはおおよそ0.825あたりと見立てているが確信はない。以下3点をそれぞれ2〜3文で説明する。

タスクB（実装・シミュレーション）

import numpy as np

N_SIM = 20000
D_REMAINING = 12

PUBLIC_LB_NOW = 0.815
CV_GAIN_BASE = 0.0018
CV_DECAY = 0.88

GOLD_CUTOFF_PUBLIC_EST = 0.825

SHAKEUP_STD = 0.006

CUTOFF_DRIFT_MEAN = 0.003
CUTOFF_DRIFT_STD = 0.004

TARGET_PROB = 0.70

💡 ヒント

def gain(base, decay, start, length):
    if length <= 0:
        return 0.0
    i = np.arange(start, start + length)
    return np.sum(base * (decay ** i))

def simulate_p_medal(delta, rng, n_sim=N_SIM,
                      shakeup_std=SHAKEUP_STD,
                      cutoff_drift_mean=CUTOFF_DRIFT_MEAN,
                      cutoff_drift_std=CUTOFF_DRIFT_STD):
    planned_gain = gain(CV_GAIN_BASE, CV_DECAY, 0, D_REMAINING)
    own_base = PUBLIC_LB_NOW + planned_gain + delta
    own_private = own_base + rng.normal(0, shakeup_std, n_sim)
    cutoff_private = (GOLD_CUTOFF_PUBLIC_EST
                       + rng.normal(cutoff_drift_mean, cutoff_drift_std, n_sim)
                       + rng.normal(0, shakeup_std, n_sim))
    return (own_private > cutoff_private).mean()

# 二分探索でrequired_deltaを求める
lo, hi = 0.0, 0.05
for _ in range(40):
    mid = (lo + hi) / 2
    rng = np.random.default_rng(0)
    p = simulate_p_medal(mid, rng)
    if p < TARGET_PROB:
        lo = mid
    else:
        hi = mid
required_delta = hi

✅ 模範解答

for delta in np.round(np.arange(0.000, 0.021, 0.001), 3):
    rng = np.random.default_rng(0)
    p = simulate_p_medal(delta, rng)
    print(f"delta={delta:.3f}  P(medal)={p:.3f}")

# ============ 実測結果 ============
# planned_gain(natural, 12days)=0.01176
# naive_gap = -0.00176   （素朴な点差だけ見ると「自然な伸びだけで届く」ように見える）
#
# delta=0.000  P(medal)=0.445   ← naive_gapは負(=届いて見える)なのにP(medal)は半分以下
# delta=0.003  P(medal)=0.575
# delta=0.006  P(medal)=0.700   ← ここでTARGET_PROB=0.70に到達
# delta=0.010  P(medal)=0.828
# delta=0.015  P(medal)=0.929
# delta=0.020  P(medal)=0.977
#
# required_delta = 0.00601  (このdeltaでP(medal)=0.7000)
# naive_gap = -0.00176 → required_delta / naive_gap = -3.406倍（符号も大きさも一致しない）

📊 結果の可視化

🪜 Step-by-Step 解説

1なぜdelta=0でもnaive_gapの符号から想像できないほどP(medal)が低いのか

# naive_gap = -0.00176   (点差の上では届いているように見える)
# delta=0.000  P(medal)=0.445

2なぜ残り日数が少ないほどrequired_deltaが大きくなるのか

# D_REMAINING= 4  planned_gain=0.00600  required_delta=0.01177
# D_REMAINING=20  planned_gain=0.01384  required_delta=0.00394

3なぜSHAKEUP_STDが大きいコンペほどrequired_deltaが大きくなるのか

# SHAKEUP_STD=0.002  required_delta=0.00379
# SHAKEUP_STD=0.014  required_delta=0.01153

🔁 追加検証（SHAKEUP_STD・D_REMAININGを変化させた場合）

それぞれ他の設定を固定し、SHAKEUP_STDとD_REMAININGを個別に変化させてrequired_deltaを求めた。

# --- SHAKEUP_STDを変えた場合 ---
# SHAKEUP_STD=0.002  required_delta=0.00379
# SHAKEUP_STD=0.004  required_delta=0.00481
# SHAKEUP_STD=0.006  required_delta=0.00601   ← 今日のメイン設定
# SHAKEUP_STD=0.008  required_delta=0.00731
# SHAKEUP_STD=0.010  required_delta=0.00873
# SHAKEUP_STD=0.012  required_delta=0.01011
# SHAKEUP_STD=0.014  required_delta=0.01153

# --- D_REMAINING(残り日数)を変えた場合 ---
# D_REMAINING= 4  planned_gain=0.00600  naive_gap=0.00400   required_delta=0.01177
# D_REMAINING= 6  planned_gain=0.00803  naive_gap=0.00197   required_delta=0.00974
# D_REMAINING= 8  planned_gain=0.00961  naive_gap=0.00039   required_delta=0.00817
# D_REMAINING=10  planned_gain=0.01082  naive_gap=-0.00082  required_delta=0.00695
# D_REMAINING=12  planned_gain=0.01176  naive_gap=-0.00176  required_delta=0.00601   ← 今日のメイン設定
# D_REMAINING=16  planned_gain=0.01306  naive_gap=-0.00306  required_delta=0.00472
# D_REMAINING=20  planned_gain=0.01384  naive_gap=-0.00384  required_delta=0.00394

🧮 数学・統計の補足（文系向け）

combined_std = np.sqrt(2 * SHAKEUP_STD**2 + CUTOFF_DRIFT_STD**2)
# = sqrt(2 * 0.006**2 + 0.004**2) = sqrt(0.000088) ≈ 0.00938

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☑ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: 今日は自分のシェイクアップノイズとカットオフラインのシェイクアップノイズを独立とみなしたが、実際には同じテストデータの分割から生まれるズレである以上、両者にはある程度の正の相関がある可能性がある。rng.multivariate_normalなどで相関を持たせたノイズに拡張し、相関がrequired_deltaをどう変えるか試してみましょう。CUTOFF_DRIFT_MEAN(他の参加者の伸びペース)を0〜0.010の範囲で変化させた場合の感度も確認する価値があります
• 次回予告: Phase6テーマ4「コンペ戦略・Gold 3枚達成プラン」の5日目・最終日に入ります。次回はDay141〜144で扱った4つの意思決定(提出予算配分・探索と活用・チームマージ・メダル圏内までの距離の見積もり)を統合し、一つの「Gold 3枚達成プラン」として総括する予定です

Phase 6 の学習マップ（全20テーマ）

Day141で最終提出の選び方、Day142で探索/活用トレードオフ、Day143でチームマージ、Day144でメダル圏内までの距離の見積もりを実測。次回、5日間の総括に進む。

📝 自己評価（解いた後に記入）