Kaggle Grandmaster 学習記録

🟡 Phase 6 — SOTA手法の追跡・論文実装・カスタムアーキテクチャ・高度なアンサンブル

Day 126 –

2026-10-16

Day 183 — Playground Series 実戦投入⑱ — 混ぜの候補を182本から3,315本に広げた（40ワールド・1,000 fit・7分、葉ペアの本数別・重み 0.3/0.5/0.7・knn 重み3点・3つ/4つ混ぜ。Day182 と OOF 完全一致）。補正CV 最良の真の損 1.80→0.65（−1.15±0.14、36/4）。選び損（勝者の呪い）は K=10→3,315 で 0.43→0.65 と増えるが、独立の予想 0.81 より小さく（K_eff≈190）、箱の真の最良がそれ以上に下がる。最終2本は3,315本の CV最良＋公開最良で −1.07±0.13（38/2）。最良は格子の端（葉31 600本・葉255 1,200本）に寄った（×10⁻⁴）

理論→コーディング Phase 6 / 難易度: 金

2026-10-15

Day 182 — Playground Series 実戦投入⑰ — 最終2本の2本目を測った（40ワールド・1,000 fit・7分、候補182本 × 公開/非公開の再分割500回 × 公開5/20/50%）。先に1本目が負けていた: 決定20 の単体より、葉ペア 50/50 混ぜ・knn 0.1 混ぜが 40/40 で強く、182本から補正CV 最良を1本目にすると真の誤差 −4.66±0.17（z −27）。2本目は公開LB最良で非公開の損 −0.31±0.09（公開20%）、うち真の誤差で残るのは −0.12±0.06（残りは雑音の運）。決定22 新設・決定12 改訂・決定8 を ◎ に（×10⁻⁴）

分析→戦略 Phase 6 / 難易度: 金

2026-10-14

Day 181 — Playground Series 実戦投入⑯ — 作り直しを1,200本まで伸ばした（40ワールド・800 fit・15分、600本までは Day180 と OOF 完全一致）。葉31〜127 の5本平均の山は600本の後ろ、葉255 は 400〜700本。本数を 600〜1,200 から補正CV で選ぶ決定20 は 600本固定より −0.96±0.23（z −4.1、最悪の損 2.19→1.25）。fold ごとの早期打ち切りは 40/40 で悪化（+4.91）し、補正CV でもその悪さを 1.5〜2.7 見逃す。CV設計書を決定1〜21 で書き直し（×10⁻⁴）

コーディング→分析 Phase 6 / 難易度: 金

2026-10-13

Day 180 — Playground Series 実戦投入⑮ — Day179 で消えた分を tmp の外でやり直し（40ワールド・2,000 fit・18分、Day178・179 の公開値を小数2桁まで再現）。決定15 が葉255 を選ぶ小得・中雑音でも5本平均の山は600本（9/12・11/12）で、決定19 は +0.12/+0.06 と得が無く撤回。決定18（600本で作り直す）は決定15 より −0.46〜−1.19（2SE 超）で ◎。Day179 の「補正CV は本数比較で +2.4〜+5.3 偏る」は2ワールドの偶然（16ワールドで −0.4〜+0.9）（×10⁻⁴）

コーディング→戦略 Phase 6 / 難易度: 金

2026-10-12

Day 179 — Playground Series 実戦投入⑭ — 作り直しの1本（lr0.05・600本）の本数を、5本平均の途中本数12点から選ぶ規則を比べた（予定18→tmp 消失で低雑音2ワールドの暫定値）。5本平均の山は葉127 まで600本、葉255 約450本、葉511 約225本。補正CV で本数を選ぶと葉255/511 で −0.86/−3.66 だが、決定15 が選ぶ葉63/127 では得0。fold ごとの早期打ち切り（忍耐50）は +2.17 悪化（2/2）、生CV は 2〜8 楽観→決定19 新設（△）（×10⁻⁴）

分析→戦略 Phase 6 / 難易度: 金

2026-10-11

Day 178 — Playground Series 実戦投入⑬ — 学習率 0.05・600本で葉 31〜511 を作り、lr0.1・300本と同じワールドで並べた（予定40→18ワールドで打ち切り）。山の位置は動かない（低雑音 63/127、小得・中雑音 255、18/18）。同じ葉の得は −0.2〜−1.6 と小さく、費用は 2.4〜3.0倍。「葉は lr0.1 で選び、その1本だけ lr0.05 で作り直す」が最悪の損 2.57→1.52 で最小・最安→決定18 新設（○）。葉255 以上では 600本は多すぎ（×10⁻⁴）

コーディング→分析 Phase 6 / 難易度: 金

2026-10-10

Day 177 — Playground Series 実戦投入⑫ — 補正CV の残りを恒等式で3項（OOF と truth の行の違い・A の推定誤差・切り詰め）に分け、Day176 の残り31ワールドを回して40ワールドで測った。「効きすぎ」は3ワールドの偶然（低雑音葉511 −4.78 → +3.15±1.96）で、21組すべて 2SE 以内、A の推定誤差は最大 0.24。残りの揺れは train 行の引き方が作り（予測が実測の 67〜92%）、分割を変えても半分以上残る。「引き分けなら小さい木」は最悪の損を 0.88→1.93 に悪化→決定13 を葉511 まで ◎、決定15 の一覧 L4 を ◎（最悪 0.88）（×10⁻⁴）

理論→コーディング Phase 6 / 難易度: 金

2026-10-09

Day 176 — Playground Series 実戦投入⑪ — 木の大きさの上限: 乱数なしの葉 127/255/511 × min_child_samples 20/50 を作った（40ワールド予定→9で打ち切り、残りは未計測）。中雑音は葉255 が山（−36.62、5/5）で葉511 は +7.69 戻り、mcs50 は6組すべてで悪化（+8.7〜+24.7）。決定15 の一覧に葉255 を足すと中雑音の損 5.20→0.74、511・mcs50 を足しても損は動かない→一覧を 31〜255 に改訂し「端が勝ったら次の倍を1本足す」止め方を追加（×10⁻⁴）

分析→戦略 Phase 6 / 難易度: 金

2026-10-08

Day 175 — Playground Series 実戦投入⑩ — 乱数なしの葉 31/63/127 から補正CVで基準を選ぶ決定15 を低雑音・小得・中雑音の40ワールドで測った。最悪の超過損は 0.50（基準を葉31に固定した決定14 は 25.24）。低雑音でも葉を増やす方が良く（leaf63 −3.67、16/16）、生の CV は葉127 を最大 +16.6 悪く見せていた（補正後 2SE 未満）。基準が強くなり、決定14 の余裕 m は 0〜6 のどれでも発動せず→決定15 を △→○、決定14 は休眠（×10⁻⁴）

コーディング→分析 Phase 6 / 難易度: 金

2026-10-07

Day 174 — Playground Series 実戦投入⑨ — 良い候補の得が小さい世界（2.47）を12個作り、決定14 の余裕 m=2 を3種類の世界で確かめた（最悪の超過損 0.18 のまま→据え置き、Day173 の仮想は m≥3 の見逃しを2倍に見積もっていた）。分離用の「葉63・抜き出しなし」が −12.72 で、抜き出し0.7 はむしろ悪化（+5.79、交互作用 +4.47）。m の調整（0.14）より候補の中身が約60倍効く→決定15（基準を乱数なし候補から選ぶ）を新設（×10⁻⁴）

分析→戦略 Phase 6 / 難易度: 金

2026-10-06

Day 173 — Playground Series 実戦投入⑧ — 雑音を大きくした12ワールドで本当に良い候補（leaf63_b7、真の得 −6.51）を作り、決定14 の余裕 m の「見逃しの損」を測った。補正CV は24/24回正しく乗り換え、m=3 は2回見逃し（損 0.53）。良い候補がある割合を知らないときの最悪の超過損は m=2 が最小（0.18、×10⁻⁴）→ 決定14 を 3→2 に改訂

コーディング→戦略 Phase 6 / 難易度: 金

2026-10-05

Day 172 — Playground Series 実戦投入⑦ — LightGBM の bagging・列抽出で model seed の揺れ（fold 間分散の 38〜95%）が入っても、補正CV は生の CV の偏り（最大 +12.30）を +0.09 まで消した。ただし選ぶ力は上がらず、今回の候補では乱数なしの既定値を常に出す方が損が小さかった（0.33 対 0.75、×10⁻⁴）。3 seed 平均の得はラベル無しで予測できた（4%以内）

理論→分析（実験） Phase 6 / 難易度: 金

2026-10-04

Day 171 — Playground Series 実戦投入⑥（月内のまとめ）— 決定1〜12 を1枚の CV設計書にして証拠に印を付け、最弱点「CV の偏り」を分解。偏りは1モデル対5モデル平均の差でほぼ説明でき、test 行の fold 間分散（ラベル不要）で直した補正CVの損は 0.92（生CV 2.34、公開LB最良 2.10、×10⁻⁴）。Day170 の混合候補1本の作り間違いも発見

戦略→コーディング Phase 6 / 難易度: 金

2026-10-03

Day 170 — Playground Series 実戦投入⑤ — 最終提出の2本をどう選ぶか。公開20%では公開LB最良（損 2.11）が CV 最良（2.80）より当たりやすく、CV は複雑な設定を過小評価する偏りがあった。最も損が小さいのは「CV最良＋公開最良」の2枠（1.67、×10⁻⁴）

戦略→分析 Phase 6 / 難易度: 金

2026-10-01

Day 169 — Playground Series 実戦投入（10/1 バックフィル）— 効かない特徴量を R2 はどれだけ通すか。真の効果がほぼ0の候補108件のうち naive の −2SE は 11件（10.2%、名目の約4.5倍）を採用。ただし通した分の合計は −1.69 でわずかに得、閾値を締めると効く列の得（正味 35.9）が半減以下になる

分析（実験） Phase 6 / 難易度: 金

2026-09-30

Day 168 — Playground Series 実戦投入（9/30 バックフィル）— R2 の SE は足りているか。15個の fold 差を独立とみなす SE は24ワールドで被覆 0.82 と小さすぎ、Nadeau & Bengio 補正（2.18倍）は被覆 0.99 と広すぎた。実測が要求した拡大率は 1.2〜2.0 倍

理論→分析 Phase 6 / 難易度: 金

2026-09-29

Day 167 — Playground Series 実戦投入（9/29 バックフィル）— 同じコードを回し直したら同じ数字が出るか。HistGB はスレッド数を変えても OOF が完全一致。列抽出を入れると seed の揺れが特徴量1本の効果と同じ大きさになり、seed を増やしてもデータの揺れは減らなかった

戦略→コーディング Phase 6 / 難易度: 金

2026-10-02

Day 166 — Playground Series 実戦投入④ — 性質の違うモデルを混ぜる。log_Dur は木には効かなかったが線形モデルでは −0.047 と桁違いに効いた

コーディング→分析 Phase 6 / 難易度: 金

2026-09-28

Day 165 — Playground Series 実戦投入③ — Optuna でハイパーパラメータを60回探す。探索に使った CV は改善を最大1.7倍に見せ、探索回数を増やすと本当は悪い設定を選んだワールドもあった。探索に使っていない分割で測り直すと、採否6件がすべて真の効果と一致した

分析→戦略 Phase 6 / 難易度: 金

2026-09-27

Day 164 — Playground Series 実戦投入② — 特徴量を1つずつ足して採否を決める。1回の5分割では本当に効く8件のうち4件を見逃し、3回繰り返すと見逃し1件・偽採用1件になった。昨日採用した log_Dur は差がちょうど0だった

コーディング→分析 Phase 6 / 難易度: 金

2026-09-26

Day 163 — Playground Series 実戦投入① — S5E5（消費カロリー予測）のCV設計を測ってから決める。元データを足すとCVは0.013良く見えたが、本当の改善は0.0003だった

戦略→コーディング Phase 6 / 難易度: 金

2026-09-25

Day 162 — NLP系コンペへの応用⑬ — 未ラベルに「新しい語」を与えても疑似ラベルは勝たず、新しい語が1つも無い条件で初めて勝った

分析→コーディング Phase 6 / 難易度: 金

2026-09-24

Day 161 — NLP系コンペへの応用⑫ — ラベルを40→400件に増やしても、疑似ラベルは「疑似ラベルなし」に勝たなかった（害が消えるだけだった）

コーディング→分析 Phase 6 / 難易度: 金

2026-09-23

Day 160 — NLP系コンペへの応用⑪（シリーズ総括）— 設計フローチャートを作ったら、最初の分岐は「疑似ラベルを使わない」だった

戦略→コーディング Phase 6 / 難易度: 金

2026-09-18

Day 159 — NLP系コンペへの応用⑩ — (D)のconfirmation biasは「新しい間違いを生む」のか「既存の間違いの確信度だけ強める」のか

コーディング→分析

2026-09-17

Day 158 — NLP系コンペへの応用⑨ — 「round1が大域最適」は、プールの難易度構成が入れ替わる一般構造から来ているのか

コーディング→分析

2026-09-16

Day 157 — NLP系コンペへの応用⑧ — オラクル打ち切り vs 検証ベース打ち切り、Dの劣化を防げるのはどちらか

コーディング→分析

2026-09-15

Day 156 — NLP系コンペへの応用⑦ — クラスタのquota配分ルールを確信度非依存にすると、gapはどう変わるのか

コーディング→分析

2026-09-14

Day 155 — NLP系コンペへの応用⑥ — クラスタ内Uncertainty Samplingの優位性は、Iterative Pseudo Labelingでも持続するのか

コーディング→分析

2026-09-13

Day 154 — NLP系コンペへの応用⑤ — クラスタ内選択基準を変えれば、3日間効かなかった対策はついに改善するのか

コーディング→分析

2026-09-12

Day 153 — NLP系コンペへの応用④ — 「フィルタ前クラスタリング」は選択バイアスを本当に緩和するのか

コーディング→分析

2026-09-11

Day 152 — NLP系コンペへの応用③ — 選択バイアスを緩和するdiversity-aware疑似ラベル選択は本当に効くのか

コーディング→分析

2026-09-10

Day 151 — NLP系コンペへの応用② — テキスト分類にPseudo Labelingは本当に効くのか

理論→コーディング

2026-09-09

Day 150 — NLP系コンペへの応用① — テキスト分類にTTA（同義語置換）は本当に効くのか

理論→コーディング

2026-09-08

Day 149 — Phase 6 総復習 — 6テーマ横断のROIランキングと次の90日の時間配分

分析→戦略→コーディング

2026-09-07

Day 148 — 解法公開・フォーラム③ — 自分のwrite-upを書く実践（trust_score自動生成テンプレート）

戦略→コーディング

2026-09-06

Day 147 — 解法公開・フォーラム② — 良いwrite-upと怪しいwrite-upの見分け方

分析→コーディング

2026-09-05

Day 146 — 解法公開・フォーラム① — 上位ソリューションの読み方（Discussion精読の型）

分析→コーディング

2026-09-04

Day 145 — コンペ戦略⑤ — Gold 3枚達成プラン総括（4つの意思決定を1つの統合シミュレーションで比較する）

戦略→コーディング

2026-09-03

Day 144 — コンペ戦略④ — メダル圏内までの距離の見積もり

戦略→コーディング

2026-09-02

Day 143 — コンペ戦略③ — チームマージ（チーム戦）の意思決定

戦略→コーディング

2026-09-01

Day 142 — コンペ戦略② — 探索と活用のトレードオフ（CVが伸び悩んだときの意思決定）

戦略→コーディング

2026-08-31

Day 141 — コンペ戦略① — 提出予算の配分と「CVを信じよ」を実測で裏付ける

戦略

2026-08-30

Day 140 — 高度なアンサンブル⑤ — テーマ群総括と Stacking基礎（OOFはなぜリークを防げるのか）

コーディング

2026-08-29

Day 139 — 高度なアンサンブル④ — Feature MaskingはノイズTTAより「安定した改善」につながるか

コーディング

2026-08-28

Day 138 — 高度なアンサンブル③ — TTAはノイズ摂動でtest精度を改善できるか

コーディング

2026-08-27

Day 137 — 高度なアンサンブル② — Iterative Pseudo Labelingとconfirmation bias / selection biasの実測

コーディング

2026-08-26

Day 136 — 高度なアンサンブル① — Pseudo Labelingの基本と確信度閾値のトレードオフ

理論→コーディング

2026-08-25

Day 135 — カスタムアーキテクチャ設計⑤ — HybridMLPBlockとアブレーション実験

コーディング

2026-08-24

Day 134 — カスタムアーキテクチャ設計④ — Multi-Head Self-Attentionブロックの自作設計

コーディング

2026-08-23

Day 133 — カスタムアーキテクチャ設計③ — Squeeze-and-Exciteブロックの自作設計

コーディング

2026-08-22

Day 132 — カスタムアーキテクチャ設計② — Gated MLPブロックの自作設計

コーディング

2026-08-21

Day 131 — カスタムアーキテクチャ設計① — Residual接続を持つMLPブロックの自作設計

コーディング

2026-08-20

Day 130 — SOTA手法の追跡・論文実装⑤ — Knowledge Distillationで教師の「暗黙知」を生徒へ伝える

理論→コーディング

2026-08-19

Day 129 — SOTA手法の追跡・論文実装④ — Mixupで「境界のあいまいさ」を教えるデータ拡張

理論→コーディング

2026-08-18

Day 128 — SOTA手法の追跡・論文実装③ — 学習を安定させるExponential Moving Average（EMA）

理論→コーディング

2026-08-17

Day 127 — SOTA手法の追跡・論文実装② — 汎化性能を高めるOptimizerの工夫（SAM: Sharpness-Aware Minimization）

理論→コーディング

2026-08-16

Day 126 — SOTA手法の追跡・論文実装① — 論文の数式をコードに落とし込むワークフロー（Label Smoothing）

理論→コーディング

🟣 Phase 5 — ディープラーニング・NLP・CV・時系列

Day 110 – 125

2026-08-15

Day 125 — ソロGold戦略 — Phase4×Phase5武器庫を統合したGold圏内到達フレームワーク

戦略→コーディング

2026-08-14

Day 124 — マルチモーダル学習入門 — 数値×テキストのIntermediate Fusion

理論→コーディング

2026-08-13

Day 123 — Temporal Fusion Transformer入門 — Attention＋分位点予測

コーディング

2026-08-12

Day 122 — Prophet入門 — トレンド・季節性・祝日効果の分解

理論→コーディング

2026-08-11

Day 121 — 時系列ディープラーニング入門 — LSTM

理論→コーディング

2026-08-10

Day 120 — CVブロック総括 — 実践的なバックボーン選定戦略

戦略

2026-08-09

Day 119 — Data Augmentation応用 — RandAugment・Mixup・CutMix

コーディング

2026-08-08

Day 118 — EfficientNet・timmライブラリ入門 — 統一APIでのバックボーン選定

コーディング

2026-08-07

Day 117 — 転移学習入門 — 事前学習済みResNetの活用・Feature ExtractionとFine-tuningの違い

理論→コーディング

2026-08-06

Day 116 — CNN入門③ — Data Augmentation・学習曲線の可視化・過学習の兆候の見つけ方

理論→コーディング

2026-08-05

Day 115 — CNN入門② — 実データセットでの学習・DataLoader前処理・学習ループ

コーディング

2026-08-04

Day 114 — CNN入門① — 畳み込み・プーリングの直感、画像データの扱い方

理論→コーディング

2026-08-03

Day 113 — PyTorch入門③ — GPU学習・モデルの保存/読み込み・チェックポイント

理論→コーディング

2026-08-02

Day 112 — PyTorch入門② — Dataset・DataLoader・本格的な学習ループ

コーディング

2026-08-01

Day 111 — PyTorch入門① — Tensor・自動微分の仕組み

コーディング

2026-07-31

Day 110 — ニューラルネットワークとは何か — パーセプトロン・活性化関数・誤差逆伝播の直感

理論→コーディング

🔵 Phase 4 — GBDT・アンサンブル・Optuna・上位特徴量工学

Day 090 – 109

2026-07-30

Day 109 — Phase 4 総復習 — Tabularコンペで上位10%（Silverメダル）を目指す

戦略

2026-07-29

Day 108 — SHAP値の解釈 — グローバル/ローカル解釈・Kaggleでの活用

コーディング→戦略

2026-07-28

Day 107 — 特徴量選択の高度手法 — SHAP・Boruta・PermutationImportance

コーディング

2026-07-27

Day 106 — 不均衡データ対策 — SMOTE・class_weight・閾値調整

コーディング

2026-07-26

Day 105 — 外れ値の影響と対策 — Huber Loss・量子回帰

理論→コーディング

2026-07-25

Day 104 — アンサンブル③（Blending）— hold-outベースの軽量Stacking

コーディング→分析

2026-07-24

Day 103 — アンサンブル②（Stacking）— Level-1/Level-2・リーク防止

コーディング

2026-07-23

Day 102 — アンサンブル①（Averaging）— Simple Average・Rank Average・重み最適化

コーディング

2026-07-22

Day 101 — NestedCV — チューニングとCV評価の分離

理論→コーディング

2026-07-21

Day 100 — 高度なTargetEncoding — LeaveOneOut・Smoothing係数最適化

コーディング

2026-07-20

Day 099 — Rolling・Lag特徴量 — 時系列データへの応用

コーディング

2026-07-19

Day 098 — Aggregation特徴量 — groupby統計量・差分・比率特徴量

理論→コーディング

2026-07-18

Day 097 — Optuna高度な使い方 — Pruning・並列化・可視化

コーディング

2026-07-16

Day 096 — Optuna基礎 — Study・Trial・パラメータ空間定義

コーディング

2026-07-15

Day 095 — CatBoost — Ordered Boosting・Ordered Target Statistics・対称木

理論→コーディング

2026-07-14

Day 094 — LightGBM② 高度な使い方 — DART・GOSS・カテゴリ変数のネイティブ対応

コーディング

2026-07-13

Day 093 — LightGBM① 実装 — XGBoostとの違い・高速化の理由

コーディング

2026-07-12

Day 092 — XGBoost② パラメータ — max_depth・eta・subsample の意味

理論→コーディング

2026-07-11

Day 091 — XGBoost① 実装 — DMatrix・早期終了・CVの基本

コーディング

2026-07-10

Day 090 — Gradient Boostingとは何か — 勾配ブースティングの直感

理論

💧 Phase 3 — EDA・特徴量エンジニアリング・Kaggle入門コンペ

Day 069 –

2026-07-09

Day 089 — Phase 3 総復習 — Kaggleコンペで Bronze 圏内を目指す

分析

2026-07-08

Day 088 — コンペ選定基準 — 自分に合ったコンペの見つけ方

戦略

2026-07-07

Day 087 — Kaggle API — データダウンロード・提出の自動化

コーディング

2026-07-06

Day 086 — AutoML活用 — AutoGluon・PyCaretで素早くベースライン構築

コーディング

2026-07-05

Day 085 — House Prices EDA — 回帰コンペの特徴量工学入門

コーディング

2026-07-04

Day 084 — Playground Series 活用法 — 月次コンペでBronzeメダルを取る戦略

戦略

2026-07-03

Day 083 — Titanic攻略② — アンサンブルで上位25%を目指す

コーディング

2026-07-01

Day 082 — 特徴量エンジニアリング応用 — Titanic の隠れた特徴量を掘り起こす

分析

2026-07-02

Day 081 — Titanicベースライン構築 — ロジスティック回帰でKaggle初提出

コーディング

2026-06-30

Day 080 — CV設計戦略 — Stratified K-Fold で Titanic を正確に評価する

理論

2026-06-29

Day 079 — Kaggle ノートブックの読み方 — 上位ノートブック精読の手順

コーディング

2026-06-28

Day 078 — Kaggleのコンペ構造 — データ・評価指標・提出形式の読み方

戦略

2026-06-27

Day 077 — データリークとは何か — リークの種類・防ぎ方・実例

理論→戦略

2026-06-26

Day 076 — Target Encoding 基礎 — 実装・リーク防止・Smoothing

コーディング

2026-06-25

Day 075 — EDA体系的手法⑦ — カテゴリ変数のエンコーディング手法比較

コーディング

2026-06-24

Day 074 — EDA体系的手法⑥ — 目的変数の変換（log変換・Box-Cox）

分析

2026-06-23

Day 073 — EDA体系的手法⑤ — 相関行列と多重共線性の検出・VIF計算

コーディング

2026-06-22

Day 072 — EDA体系的手法④ — 外れ値の検出と処理戦略

理論

2026-06-21

Day 071 — EDA体系的手法③ — 欠損値パターンの分析と可視化

コーディング

2026-06-20

Day 070 — EDA体系的手法② — カテゴリ変数の分布・目的変数との関係

分析

2026-06-19

Day 069 — EDA体系的手法① — 数値変数の分布・歪度・尖度

分析

📈 Phase 2 — 線形回帰・評価指標・交差検証・ロジスティック回帰

Day 049 – 068

2026-06-18

Day 068 — Phase 2 総復習 — Kaggle初コンペ出場戦略（提出からスコア改善まで）

戦略

2026-06-17

Day 067 — 特徴量重要度と SHAP — GBDTの予測根拠を解釈する

分析

2026-06-16

Day 066 — ブレンディング（Blending）とアンサンブル実践 — 加重平均・多数決・スタッキングの選択基準

コーディング

2026-06-15

Day 065 — スタッキング（Stacking Ensemble）— OOF予測でメタモデルを学習する

理論

2026-06-14

Day 064 — Optuna ハイパーパラメータ最適化 — GBDTの自動チューニング（XGBoost / LightGBM / CatBoost）

コーディング

2026-06-13

Day 063 — CatBoost 入門 — 順序付きブースティング・カテゴリカル処理・3大GBDT最終比較

理論

2026-06-12

Day 062 — LightGBM 入門 — leaf-wise成長・カテゴリカル処理・XGBoostとの速度比較

コーディング

2026-06-11

Day 061 — 勾配ブースティング入門 — XGBoost の仕組みと基本パラメータ

理論

2026-06-10

Day 060 — ランダムフォレスト — バギング・特徴量重要度・OOBスコア

コーディング

2026-06-09

Day 059 — 決定木（Decision Tree）— 情報利得・木の深さ・過学習の直感

理論→コーディング

2026-06-08

Day 058 — 交差検証の深掘り — Stratified K-Fold・繰り返し CV・Leave-One-Out の使い分け

コーディング

2026-06-07

Day 057 — PR曲線と Average Precision — 不均衡データの評価

分析

2026-06-06

Day 056 — Confusion Matrix の可視化と詳細分析（heatmap・FP/FN のビジネス解釈）

コーディング

2026-06-05

Day 055 — ROC曲線と AUC — 閾値・感度・特異度の関係

理論

2026-06-04

Day 054 — 評価指標の深掘り（多クラス版）— Macro / Micro / Weighted F1

コーディング

2026-06-03

Day 053 — ロジスティック回帰の正則化と多クラス分類（C パラメータ・Iris）

分析

2026-06-02

Day 052 — ロジスティック回帰入門（シグモイド・確率予測・係数の解釈）

コーディング

2026-06-01

Day 051 — 交差検証の基礎（K-Fold CV・Stratified K-Fold）

理論

2026-05-31

Day 050 — 評価指標の深掘り（MAE / RMSE / R² / MAPE）

コーディング

2026-05-30

Day 049 — 線形回帰入門（最小二乗法・単回帰・重回帰）

理論

🐼 pandas入門 / データ確認 / 欠損値処理 / 可視化 / 相関係数

Day 040 –

2026-05-29

Day 048 — Phase 1 総復習（記述統計〜相関係数）

分析

2026-05-28

Day 047 — 相関係数と散布図（散布図行列・回帰直線）

コーディング

2026-05-27

Day 046 — 相関係数と散布図

理論

2026-05-25

Day 045 — データの可視化（matplotlib / seaborn）

コーディング

2026-05-24

Day 044 — 欠損値の確認と対処（isna・fillna・dropna）

分析

2026-05-23

Day 043 — データの読み込みと基本確認（shape・dtypes・describe）

コーディング

2026-05-22

Day 042 — pandas入門（loc・iloc・apply）

理論

2026-05-21

Day 041 — pandas入門（groupby・集計・ピボット）

コーディング

2026-05-20

Day 040 — pandas入門（DataFrame・Series）

理論＋コーディング

📊 記述統計入門

Day 001 – 004

2026-04-09

Day 001 — 記述統計入門（平均・中央値・最頻値）

理論＋コーディング

2026-04-10

Day 002 — 記述統計入門（外れ値と平均・pandas活用）

コーディング

2026-04-11

Day 003 — 記述統計入門（Titanicデータ分析）

分析

2026-04-12

Day 004 — 記述統計入門（外れ値が代表値に与える影響）

コーディング

📉 分散・標準偏差・外れ値

Day 005 – 019

2026-04-13

Day 005 — 分散・標準偏差・外れ値（理論）

理論

2026-04-15

Day 006 — 分散・標準偏差・外れ値（IQR法コーディング）

コーディング

2026-04-16

Day 007 — 分散・標準偏差・外れ値（理論編）

理論

2026-04-17

Day 008 — 分散・標準偏差・外れ値（コーディング編）

コーディング

2026-04-18

Day 009 — 分散・標準偏差・外れ値（理論編）

理論

2026-04-19

Day 010 — 分散・標準偏差・外れ値（Zスコア法）

コーディング

2026-04-20

Day 011 — 分散・標準偏差・外れ値（分析）

分析

2026-04-21

Day 012 — 分散・標準偏差・外れ値（IQR+Zスコア実践）

コーディング

2026-04-22

Day 013 — 分散・標準偏差・外れ値（分析）

分析

2026-04-23

Day 014 — 分散・標準偏差・外れ値（コーディング実践）

コーディング

2026-04-24

Day 015 — 分散・標準偏差・外れ値（IQR+Zスコア比較）

分析

2026-04-25

Day 016 — 分散・標準偏差・外れ値（実装編）

コーディング

2026-04-26

Day 017 — 分散・標準偏差・外れ値（理論編）

理論

2026-04-27

Day 018 — 分散・標準偏差・外れ値（Titanicデータ）

コーディング

2026-04-28

Day 019 — 分散・標準偏差・外れ値（分析編）

分析

🎲 確率の基礎

Day 020 – 024

2026-04-29

Day 020 — 確率の基礎（頻度主義 vs ベイズ主義）

理論

2026-04-30

Day 021 — 確率の基礎（サイコロとシミュレーション）

コーディング

2026-05-01

Day 022 — 確率の基礎（条件付き確率・ベイズの定理）

理論＋コーディング

2026-05-02

Day 023 — 確率の基礎（ベイズ定理応用・スパムフィルター）

理論＋コーディング

2026-05-03

Day 024 — 確率分布（正規分布・二項分布）

コーディング＋理論

🔢 numpy入門

Day 025 – 039

2026-05-04

Day 025 — numpy入門（配列操作・欠損値処理）

コーディング

2026-05-05

Day 026 — numpy入門（理論・属性・ブロードキャスト）

理論

2026-05-06

Day 027 — numpy入門（reshape・axis操作）

コーディング

2026-05-07

Day 028 — numpy入門（欠損補完・np.where）

分析

2026-05-08

Day 029 — numpy入門（偏差値変換・ブールインデックス）

コーディング

2026-05-09

Day 030 — numpy入門（多次元配列・axis集計）

分析

2026-05-10

Day 031 — numpy入門（正規化・週次集計）

コーディング

2026-05-11

Day 032 — numpy入門（年代分類・Min-Max正規化）

分析

2026-05-12

Day 033 — numpy入門（ブール配列マスク・欠損処理）

コーディング

2026-05-13

Day 034 — numpy入門（shape・dtype・ブロードキャスト理論）

理論

2026-05-14

Day 035 — numpy入門（スコア分析・ランキング）

コーディング

2026-05-15

Day 036 — numpy入門（次元・arange・linspace 理論）

理論

2026-05-16

Day 037 — numpy入門（Titanic風データ前処理）

コーディング

2026-05-17

Day 038 — numpy ブロードキャスト・ユニバーサル関数

理論

2026-05-19

Day 039 — numpy クリッピング・条件分類・ソート

コーディング