Day 141 — コンペ戦略① — 提出予算の配分と「CVを信じよ」を実測で裏付ける

📚 背景知識（読んでから問題へ）

🎯 問題

タスクA（戦略・記述）

30日間のコンペ、1日最大5回・合計150回の提出枠があるが実際に使い切る参加者は少なく、上位陣は合計30〜50回程度に留める傾向があるとする。以下の3フェーズに提出予算をどう配分するか計画し、「1日1提出ルール」の狙いを今日のノイズの話と関連づけて説明する。

タスクB（実装・シミュレーション）

import numpy as np
rng = np.random.default_rng(0)

N_CAND = 30
N_SIM = 20000
TRUE_MEAN = 0.800
TRUE_STD  = 0.010

def se(n, p=0.80):
    """サンプルサイズnでの正解率測定の標準誤差"""
    return np.sqrt(p * (1 - p) / n)

N_CV_EFFECTIVE = 8000
N_PRIVATE = 4000
N_PUBLIC  = 1000
CV_STD = se(N_CV_EFFECTIVE)
PRIVATE_STD = se(N_PRIVATE)
PUBLIC_STD = se(N_PUBLIC)

💡 ヒント

results = {"cv_cv": [], "lb_lb": [], "mixed": [], "single_cv": []}
best_possible, truebest_private = [], []
hit_truebest = {"cv_cv": 0, "lb_lb": 0, "mixed": 0}

for sim in range(N_SIM):
    true_skill = rng.normal(TRUE_MEAN, TRUE_STD, N_CAND)
    cv_score = true_skill + rng.normal(0, CV_STD, N_CAND)
    public_score = true_skill + rng.normal(0, PUBLIC_STD, N_CAND)
    private_score = true_skill + rng.normal(0, PRIVATE_STD, N_CAND)

    order_true = np.argsort(-true_skill)
    best_possible.append(private_score.max())
    truebest_private.append(private_score[order_true[0]])

    top2_cv = np.argsort(-cv_score)[:2]
    results["cv_cv"].append(private_score[top2_cv].max())
    if order_true[0] in top2_cv: hit_truebest["cv_cv"] += 1

    top2_lb = np.argsort(-public_score)[:2]
    results["lb_lb"].append(private_score[top2_lb].max())
    if order_true[0] in top2_lb: hit_truebest["lb_lb"] += 1

    best_cv_idx = np.argsort(-cv_score)[0]
    best_lb_idx = np.argsort(-public_score)[0]
    picks = [best_cv_idx, np.argsort(-cv_score)[1]] if best_cv_idx == best_lb_idx else [best_cv_idx, best_lb_idx]
    results["mixed"].append(private_score[picks].max())
    if order_true[0] in picks: hit_truebest["mixed"] += 1

    results["single_cv"].append(private_score[best_cv_idx])

✅ 模範解答

# --- ノイズの大きさを確認 ---
print(f"CV_STD={CV_STD:.5f}  PRIVATE_STD={PRIVATE_STD:.5f}  PUBLIC_STD={PUBLIC_STD:.5f}")
# 実測: CV_STD=0.00447  PRIVATE_STD=0.00632  PUBLIC_STD=0.01265
# → Public LBのノイズはCVの約2.8倍、Privateの約2.0倍

# --- モンテカルロシミュレーション本体（ヒント3のループを実行） ---
best_possible = np.array(best_possible)
for k, arr in results.items():
    arr = np.array(arr)
    regret = (best_possible - arr).mean()
    print(f"{k:10s} mean_private={arr.mean():.5f}  regret={regret:.5f}")

# ============ 実測結果 ============
# [参考] 神視点の理論上限 best_possible_private mean = 0.82423
# [参考] 真に実力最良のモデルを選んだ場合の private mean = 0.82048
#
# cv_cv      mean_private=0.82147  regret_vs_bestpossible=0.00276
# mixed      mean_private=0.82064  regret_vs_bestpossible=0.00359
# single_cv  mean_private=0.81866  regret_vs_bestpossible=0.00557
# lb_lb      mean_private=0.81742  regret_vs_bestpossible=0.00681
#
# cv_cv      P(真に実力最良のモデルを最終2枠に含める)=0.774
# mixed      P(真に実力最良のモデルを最終2枠に含める)=0.690
# lb_lb      P(真に実力最良のモデルを最終2枠に含める)=0.401
#
# cv_cv      P(採用した最終提出が真の下位半分由来)=0.000
# mixed      P(採用した最終提出が真の下位半分由来)=0.003
# lb_lb      P(採用した最終提出が真の下位半分由来)=0.020

📊 結果の可視化

🪜 Step-by-Step 解説

1なぜ同じtrue_skillから3種類の観測値を作るのか

true_skill = rng.normal(TRUE_MEAN, TRUE_STD, N_CAND)
cv_score = true_skill + rng.normal(0, CV_STD, N_CAND)
public_score = true_skill + rng.normal(0, PUBLIC_STD, N_CAND)
private_score = true_skill + rng.normal(0, PRIVATE_STD, N_CAND)

2なぜCV一択がミックス戦略に勝つことがあるのか

# cv_cv      regret_vs_bestpossible=0.00276
# mixed      regret_vs_bestpossible=0.00359
# lb_lb      regret_vs_bestpossible=0.00681

3なぜ「下位半分から選んでしまう確率」がCV一択でほぼ0なのか

# cv_cv      P(下位半分由来)=0.000
# mixed      P(下位半分由来)=0.003
# lb_lb      P(下位半分由来)=0.020

🔁 追加検証（Public LBのサンプルサイズを大きくした場合）

「CV一択がミックスに勝つ」という結論は、Public LBのノイズがCVよりかなり大きいという前提に強く依存する。この前提を崩した場合（Public/Privateの分割比率を逆転させ、Publicの取り分を大きくしてノイズを減らす）に結論が変わるかを確認した。

# N_PUBLIC=3000, N_PRIVATE=2000 のケース
# CV_STD=0.00447  PRIVATE_STD=0.00894  PUBLIC_STD=0.00730
#
# cv_cv   mean_private=0.82258
# mixed   mean_private=0.82242
# lb_lb   mean_private=0.82116

🧮 数学・統計の補足（文系向け）

🏆 Kaggleでの実践的な使い方

よく使われるコンペカテゴリ: ☑ 表形式データ（Tabular） / ☑ 自然言語処理（NLP） / ☑ 画像認識（CV） / ☑ 時系列（Time Series）

⚠️ よくある誤解・ミス

🚀 次のステップ

• 発展: N_CAND=30を10個や100個に変えた場合、また候補モデル間の実力差TRUE_STDを今日より小さく・大きくした場合に、CV一択とミックス戦略の優劣がどう変わるか試してみましょう
• 次回予告: Phase6テーマ4「コンペ戦略・Gold 3枚達成プラン」の2日目に入ります。今日はコンペ終了時点の「最終提出の選び方」を扱いましたが、次回はコンペ進行中の意思決定、CVスコアが伸び悩んだときに新しい特徴量を試すべきか、アンサンブルの微調整に留めるべきかという探索と活用のトレードオフを、限られた提出予算のもとでどう判断するかを扱う予定です

提出予算配分プラン（タスクA・例）

Phase 6 の学習マップ（全20テーマ）

Day141で最終提出の選び方（CV vs Public LB）を実測。次回以降、コンペ進行中の探索/活用トレードオフや提出予算の実務判断に進む。

📝 自己評価（解いた後に記入）