今日のフォーカス
Q1 は「誰が答えたか」（無回答を仮定なしで挟む Manski の範囲と、二段階抽出）、Q2 は「何件から出た割合か」（件数の少ないチームほど両端に来る順位表を、ファネルプロットで読む）、Q3 は「どの見積りを選んだか」（最大の見積りを選ぶと平均して期待を下回る optimizer's curse と縮小推定）。先週（10/02）は介入後の数字の読み方、今日は数字が来る前の選ばれ方。
Manski の範囲（1989）
欠けたデータに何も仮定しなければ答えは範囲。幅＝無回答の割合。
ファネルプロット（Spiegelhalter 2005）
件数ごとに偶然の範囲を引き、共通原因と特別原因を分ける。
Optimizer's curse（Smith & Winkler 2006）
最大を選ぶと上振れを選ぶ。誤差に応じて縮めてから選ぶ。
数値ラベル：仮定／導出／シミュレーション／文献。会社・人物・社内データは架空。計算は Python 標準ライブラリ（Q2 シード1009・20,000回、Q3 シード2026・100,000回とシード77・200,000回）。
有料会員から無作為に選んだ 4,000人 に満足度アンケートを送った。回答は 1,000人（回答率25%）、うち「満足」「やや満足」が 920人仮定。マーケティング部は来月からアプリストアの説明文と Web 広告にこう入れたい。
| 集団 | 人数 | 過去12か月の解約率 |
|---|---|---|
| 回答者 | 1,000 | 3% |
| 無回答者 | 3,000 | 11% |
- 何の仮定も置かずに言える「4,000人全体の満足度」の範囲を計算せよ
- 「92%」と書くために暗に置いている仮定は何か。解約率の表はその仮定について何を示唆するか
- 無回答者3,000人から無作為に200人を選び電話した。つながったのは120人、うち満足66人。①120人が200人を代表すると仮定した場合、②つながらなかった80人に何も仮定しない場合の全体の満足度を出し、広告に何と書くか決めよ
- 罠：「1,000人もいれば十分」——標本の大きさは偶然の誤差を減らすが、選ばれ方の偏りは減らさない
- 罠：誤差 ±1.7% だけ書く——無回答が無作為な場合の数字
- 判断の軸：仮定なしの範囲 → 仮定1つの点推定 → 追加データで仮定を検査
広告の判断
「満足度92%」は書かない。書くなら分母と回答率を併記する（「回答者の92%が満足。有料会員4,000人に調査、回答1,000人」）。社内の改善目標には 64% 前後を使う。一般消費者向けの表示には景品表示法（優良誤認、5条1号）がかかり、消費者庁は2024年9月に「No.1表示に関する実態調査報告書」で調査対象の選び方が不適切な満足度表示を問題視している文献。
採らなかった案
- 年齢・利用期間で重み付けし直す：「同じ層の中では答える人と答えない人は同じ」という別の仮定に置き換えるだけ。追跡データの方が直接の証拠
- 再送して回答率を上げる：25→30%でも幅は70ptまでしか縮まず、偏りの向きは同じ
- 何も書かない：安全だが、64%前後という使える数字まで捨てる
前提が変わったら：到達率が190/200なら②の幅は約4ptまで縮み、点推定を外に出せる。無回答者の解約率が回答者と同じなら、92%を「回答者の」と断って使う余地が広がる。
- 仮定なしの範囲を自分で 23〜98% と出せたか
- 解約率の差を「仮定への反証」として読めたか
- 追跡の未到達80人を範囲として扱えたか
DORA の「変更失敗率」を四半期ごとに12チームで集計した仮定。全体は 980件中153件、15.6%。
| チーム | デプロイ | 失敗 | 率 |
|---|---|---|---|
| A（新規事業） | 20 | 6 | 30.0%（最下位） |
| B（決済基盤） | 170 | 42 | 24.7% |
| H | 45 | 8 | 17.8% |
| D | 60 | 9 | 15.0% |
| G / E / K | 110 / 140 / 130 | 15 / 19 / 17 | 13.6 / 13.6 / 13.1% |
| L / C / I | 70 / 95 / 80 | 9 / 12 / 10 | 12.9 / 12.6 / 12.5% |
| F | 35 | 4 | 11.4% |
| J | 25 | 2 | 8.0%（最上位） |
- 全チームの本当の率が同じ 15.6% と仮定したとき、A の 30.0% と B の 24.7% はどのくらい珍しいか
- 12チームを比べるとき、偶然だけでどこかが 95% の範囲から外れる確率は？ どの線で「調べるチーム」を選ぶか
- COO に何と答えるか。A・B・J への対応と、今後の表の見せ方を決めよ
COO への答え
- A：次の四半期も線の外側近くにいるかを見る。2四半期で n≈40 になれば範囲は狭まる
- B：大型リリース・決済の厳しい失敗基準・テスト環境の差を調べ、仕事の種類で補正した表へ
- J：差は偶然の範囲。横展開の根拠なし
採らなかった案
- 件数で比べる：規模に比例して B が最悪になるだけ
- 小さいチームを表から外す：新規チームほど見えなくなる
- 縮小推定で率を出し直す：有力だが「数字を勝手に直した」と受け取られやすい。まずは生の数字と範囲を並べるファネルで説明し、推移を見る段階で移る
前提が変わったら：失敗の定義がチームで違うなら、定義を揃えるのが先。チーム間の本当の差（過分散）が大きいと分かっていれば補正で範囲が広がり、B すら範囲内に入りうる。A が3四半期続けて線の外近くなら件数が少なくても調べる。
- A と B の珍しさを件数込みで数字にできたか
- 12チーム比較で 95% 線が誤報を生むことに気づけたか
- 「調べる対象は人ではなく仕組み」と答えに書けたか
最初の海外進出先を1つ選ぶ。チームの見積りに水増しはない（平均すると当たる）が、データ量で誤差が違う仮定。同業の過去事例では、最初の進出先の5年NPVは平均10億円・標準偏差8億円程度仮定。
| 国 | NPV 見積り（億円） | 誤差 SD | 根拠データ |
|---|---|---|---|
| 台湾 | 18 | 5 | 既存顧客の子会社40社 |
| シンガポール | 16 | 4 | 現地拠点の顧客が多い |
| 韓国 | 20 | 7 | 競合2社の公開数値 |
| ドイツ | 22 | 10 | 規制対応費用が読みにくい |
| インドネシア | 30 | 16 | 調査会社レポートのみ |
| ブラジル | 38 | 20 | 市場推計のみ・会話3社 |
- 水増しがないのに、最大の見積りを選ぶとなぜ結果は下回りやすいか。平均で何億円下回るか
- データ量に応じて見積りを補正せよ。順位はどうなるか
- 補正の前提（平均10・SD8）がどう変わればブラジルが1位に戻るか。取締役会・投資家に何をどの順で説明するか。6か月のパイロット（1.5億円、誤差を半分に）の価値も評価せよ
取締役会での説明の順番
- 結論：台湾を提案。韓国はほぼ同点の次点
- 直感と違う理由：水増しはないが、データの薄い見積りほど最大を選ぶと上振れを引く。補正なしでは平均12.5億円下回る
- 前提の開示：過去の散らばり SD8 に依存。SD15 ならブラジルが1位。前提の出所を示す
- ブラジルの扱い：捨てない。第二候補として、会話を3社→30社に増やす安い情報収集から
- 投資家資料：「台湾から始め、データで次を選ぶ規律」を物語にする。38億は使わない（使うなら ±40億の幅と一緒に）
採らなかった案
- ブラジルで行く：補正後の期待値が最下位。物語は5年間の結果を変えない
- 台湾＋ブラジル同時：経営の注意を割り、最初の失敗の原因を切り分けられない
- 一律3割引き：順位は変わらない。問題は水増しでなく誤差の違い
- 補正は内部だけ、結論だけ出す：前提1つで順位が変わる判断を隠すと、取締役会が判断の質を検証できない
正解が無い理由：補正の前提自体が件数の少ない過去事例からの推定で、その不確かさまで入れると台湾とブラジルの差は確信できるほど大きくない。問われているのは「正しい国」ではなく、前提と分岐点を開示して判断する規律。
- なぜ最大の見積りが上振れしやすいかを自分の言葉で説明できたか
- w を計算して順位の逆転を確かめたか
- 前提（SD8/15）で結論が変わる点を説明の中に入れたか
扱わなかった範囲・文献
| 問 | 扱わなかったこと |
|---|---|
| Q1 | 多重代入法・逆確率重み付け・Heckman 選択モデル（いずれも仮定を置いて点推定を出す手法）。景品表示法は適用範囲と消費者庁2024年報告への言及のみで、個別の違反判断はしていない |
| Q2 | 過分散補正とケースミックス補正の具体的モデル。DORA の他の3指標との組み合わせ |
| Q3 | 国の間の誤差の相関（為替・景気）、リスク回避的な評価。パイロットの価値は「選び直し可能」の単純化で、パイロット自体の売上は数えていない |
- Manski (1989), "Anatomy of the Selection Problem", Journal of Human Resources, 24(3), 343–360
- Hansen & Hurwitz (1946), "The Problem of Non-Response in Sample Surveys", JASA, 41(236), 517–529
- AAPOR, Standard Definitions — https://aapor.org/standards-and-ethics/standard-definitions/
- 消費者庁（2024年9月）「No.1表示に関する実態調査報告書」／景品表示法 第5条第1号
- Spiegelhalter (2005), "Funnel plots for comparing institutional performance", Statistics in Medicine, 24(8), 1185–1202
- Deming (1986), Out of the Crisis, MIT Press（共通原因と特別原因）
- DORA, Accelerate State of DevOps Report (2024) — https://dora.dev/
- Smith & Winkler (2006), "The Optimizer's Curse", Management Science, 52(3), 311–322
- Capen, Clapp & Campbell (1971), "Competitive Bidding in High-Risk Situations", Journal of Petroleum Technology, 23(6), 641–653
今日のまとめ・次回へ
今日のまとめ：答えた人だけ（Q1）、件数の少ないチームが両端に来る順位（Q2）、最大の見積りを選ぶ操作（Q3）——歪みは選ばれ方で生まれる。仮定なしの範囲・偶然の範囲・補正後の値を出してから結論を書く。
次回（土）Thinking-B：Q3 の「結論→直感と違う理由→前提→分岐点」の順は、そのまま取締役会・投資家への説得の型になる。明日は正しい分析を相手が動ける形に変える側を扱う。