今日のフォーカス
Q1 は、6部門の平均で見ると在宅日数とエンゲージメントの相関が 0.99 なのに、600人の個人で同じ部門の中を比べると在宅1日あたり −1.55点 と逆向きになる場面を、Robinson（1950）の生態学的誤謬で読む。Q2 は、全部「90%」と言い続けた VP と、10%・30% も言った PMO の見通しを、気象予報で生まれた Brier スコアと Murphy の分解で採点する。Q3 は、300通り試して最良だった運用戦略のシャープレシオ 1.45 を、Deflated Sharpe Ratio・帰無シミュレーション・直近24か月の成績で読み直し、日米の広告規制とシリーズ B の交渉を同時に決める。
生態学的誤謬（Robinson 1950）
集団の相関を個人の関係と読む誤り。集団に共通する別の要因が作る。
Brier スコアと Murphy の分解
確率予測の採点 = 較正のずれ − 分解能 + 不確実性。正直に言うのが得になる採点。
Deflated Sharpe Ratio（2014）
試行の数・ばらつき・リターンの形で、最良のバックテストを割り引く。
今日の難易度（主人公の立場）：state.md の current_level は Lv4 経営（期間 2026-09-25〜、次の進級日は 2026-10-25。今日は据え置き）。Q1 は Lv3 管理職（人事部長）、Q2 は Lv4 経営（CTO）、Q3 は Lv5 創業者・取締役会（資産運用フィンテックの創業 CEO）。
数値の出所ラベル：仮定導出シミュレーション文献。会社・人物・社内データはすべて架空。導出・シミュレーションは本ファイル作成時に Python 標準ライブラリで実行（Q1 はシード 1016 で600人を生成、Q3 の帰無シミュレーションはシード 2026・400回×300戦略×120か月）。
前回からのつながり：前回の IQ-B（10/9）は「データの選ばれ方」（無回答・小さい分母・最高見積りの選択）。今日は数字が作られた単位と回数に絞る。
年1回のエンゲージメント調査（100点満点）と入退館記録から、部門ごとの平均を並べた仮定。
| 部門 | 人数 | 平均在宅日数（日/週） | 平均エンゲージメント |
|---|---|---|---|
| 開発 | 140 | 3.61 | 73.2 |
| データ | 60 | 3.73 | 76.5 |
| 経理・人事 | 70 | 2.23 | 67.1 |
| 営業 | 130 | 1.56 | 63.8 |
| CS | 120 | 1.24 | 60.7 |
| 製造管理 | 80 | 0.91 | 57.8 |
「相関係数は 0.99。在宅が1日増えると約6点上がる。全員を週4日在宅にすれば12点近く上がる。来期から全社でやろう」（経営企画の役員）
データ分析チームに 600人の個人単位で分析させた結果仮定（シミュレーションで生成）：
- 600人をそのまま並べた相関：r = 0.33
- 同じ部門の中で比べた関係：在宅1日あたり −1.55点（95%信頼区間 −2.26〜−0.84）
- 6部門のうち5部門で「在宅が多い人ほどやや低い」向き
- 役員の「1日あたり約6点」「r = 0.99」を表から確かめよ。この数字は何についての関係か。
- 部門単位では強い正、部門の中では弱い負。なぜこんなことが起きるのか。
- 相良さんは来週の経営会議で何を提案するか。「部門の中の −1.55点」を根拠に在宅を減らす案の是非も含めて答えよ。
ダッシュボードはほぼ必ず集計した単位（部門・店舗・国）で数字を見せる。その単位で見えた関係を「個人に施策を打てば同じ効果が出る」と読み替える誤りを生態学的誤謬（ecological fallacy）という。Robinson（1950）が米国の州・地域単位の相関と個人単位の相関が大きく食い違う例で示した文献。
鍛える力は3つ。①相関を見たら「何の単位の相関か」を最初に言う、②集団の差と個人の差が逆向きになる仕組みを言葉にする、③逆向きの結果を見つけたとき、今度はそちらを因果と思い込む二度目の誤りを避ける。
- まず何を確認すべきか: 相関の点は何個か。表の相関は6部門の6点で、600人の相関ではない。
- 核心にある概念: 全体の関係 = 集団の間の関係 + 集団の中の関係。2つは別物で、符号が逆にもなる（シンプソンのパラドックスと同じ構造）。
- よくある誤り/罠: ①部門の傾きを個人の効果として掛け算する ②「部門の中では負」から逆の因果に飛ぶ ③平均を取ると雑音が消えて相関が大きく見えることを忘れる。
- 判断の軸: 施策の単位とデータの単位を合わせる。どちらの単位でも因果は確かめていないので、比べられる形で試す。
1. 役員の数字の確認
6部門の相関 r = 0.988（決定係数 0.977）、傾き +5.91点/日導出。「2日増やして +11.8点」はこの傾き × 2。ただし点は6個で、個人1人の在宅を1日増やしたら何点変わるかについては何も言っていない。
2. なぜ逆向きになるか
- 部門の間：開発・データは裁量が大きく成果物で評価され、市場価値も高い。CS・製造管理はシフトと現場対応。裁量はエンゲージメントを上げ、同時に在宅を可能にする（集団レベルの交絡）。
- 部門の中：在宅 → 孤立で低下／不満な人ほど出社を避ける（逆の因果）／育児・介護など在宅を要する事情（第三の要因）。どれも否定できない。
- 平均は雑音を消す：Robinson の例では、人種と読み書きできないことの相関が個人で 0.203、9地域単位で 0.946文献：記憶に基づく数値、原文未確認。
3. 経営会議での提案
- 試し方：在宅上限を変えるチームを無作為に選ぶ（または段階導入）。変えなかったチームとの差の差で比べる。
- 育児・介護で在宅が必要な人は制度上の配慮として別に扱い、効果分析と切り離す。
採らなかった案と理由
- A. 全社で週4在宅 — 部門の傾きを個人に当てはめている。CS・製造管理は在宅を増やしても裁量は増えない。
- B. 部門内の負を根拠に在宅上限を週2へ — 逆の因果を否定できない。二度目の誤り。
- C. 重回帰で職種・給与を統制 — 測っていない要因（上司との関係など）が残る。試行ができない場合の次善策として残す。
前提が変わったら
- 施策の単位が「部門ごとの方針」なら、部門単位の関係は問いの単位と合う（ただし交絡を統制しない限り因果ではない）。
- 試行ができず、同じ人の在宅日数が変わった前後のデータが3年分あれば、個人固定効果で比べる方法が使える。
実践への応用
- プロダクト：「機能 X を使う層ほど継続率が高い」は層の比較。個人に使わせても同じだけ上がるとは限らない。
- 店舗・支店：「研修受講率が高い支店ほど売上が高い」は規模・立地の差かもしれない。
- エンジニアリング：「カバレッジが高いリポジトリほど障害が少ない」——重要度・成熟度の差を映している可能性。同じリポジトリの中の変化で見る。
- グローバル：国単位の英語力と GDP の相関から、社員の英語研修の効果を推さない。
- 表から r と傾きを自分で計算したか
- 部門の間と中が逆向きになる要因を3つ以上挙げられたか
- 「−1.55 も因果ではない」まで言えたか
取締役会から「主要マイルストーンが期限どおり出る見込みを確率で」と求められている。過去4四半期の48件に、2人が期初に確率を付けていた。結果は48件中 28件（58.3%）が期限どおり仮定。
| 本郷さん（VP of Eng）の確率 | 件数 | 出た件数 |
|---|---|---|
| 90% | 30 | 18 |
| 80% | 12 | 7 |
| 60% | 6 | 3 |
| 谷さん（PMO リード）の確率 | 件数 | 出た件数 |
|---|---|---|
| 90% | 10 | 9 |
| 70% | 14 | 10 |
| 50% | 12 | 6 |
| 30% | 8 | 2 |
| 10% | 4 | 1 |
「谷さんは 10% や 30% と付けて、外れても言い訳ができるようにしているだけだ。私は90%と言って30件中18件を出した。チームを信じて高い目標を言うのがリーダーの仕事だ」（本郷さん）
- 2人を Brier スコア（(確率 − 結果)² の平均）で比べよ。「毎回 58.3% と言うだけの人」とも比べよ。
- Brier スコアを「較正」と「分解能」に分けて2人の違いを説明せよ。本郷さんの主張のどこが正しく、どこが誤りか。
- 取締役会への報告と社内の評価をどう変えるか。「90%と約束した期日を守った率」を目標にすると何が起きるか。
多くの組織は見通しを「当たったか外れたか」でしか振り返らず、確率で言った見通しの質を測れない。Brier（1950）の採点と Murphy（1973）の分解は確率予測の標準的な採点方法で、Tetlock の Good Judgment Project（IARPA 支援の予測大会）でも使われた文献。
鍛える力は3つ。①「自信のある人」と「当たる人」を数字で分ける、②正直に確率を言うのが得になる採点（適正なスコアリング・ルール）とそうでない採点を区別する、③取締役会に出す数字を組織の誘因まで含めて設計する。
- まず何を確認すべきか: 90% と言った件のうち何割が出たか（較正表）。
- 核心にある概念: Brier = 較正のずれ − 分解能 + 不確実性。不確実性は2人に共通で、差は前の2つで決まる。
- よくある誤り/罠: ①「90%で18件」を件数で誇る（90%なら27件前後が必要） ②10%・30% を逃げと見る（危ない案件を言い分けるのが分解能） ③守った率で評価する。
- 判断の軸: 較正されていて分解能がある確率ほど価値がある。採点はこの2つを正直に引き出す形にする。
1. Brier スコア導出
| 予測した人 | Brier | スキルスコア（対 毎回58.3%） | 対数スコア |
|---|---|---|---|
| 本郷さん | 0.311 | −0.28 | 0.905 |
| 谷さん | 0.190 | +0.22 | 0.565 |
| 毎回58.3% | 0.243 | 0 | 0.679 |
採点方法を対数スコアに変えても順位は同じ。
2. 分解で分かること
- 本郷さんの較正のずれ：90% と言った30件で出たのは18件（60%）。本当に90%なら18件以下の確率は約 0.0015%導出（二項分布）。系統的な自信過剰。平均で言った確率 83.8%、実際 58.3%。
- 本郷さんの分解能ほぼゼロ：90%・80%・60% の群の実際は 60%・58%・50%。どの案件が危ないかを言い分けていない。
- 谷さん：90→90%、70→71%、50→50%、30→25%、10→25%（4件のみ）。10%・30% と言った12件で出たのは3件——危ない案件を事前に見分けていた。
- 本郷さんの正しい点：難しく具体的な目標は成果を上げやすい（Locke & Latham）文献。誤りは目標（チームへの宣言）と見通し（取締役会への確率）を同じ数字にしていること。
- 注意：48件なので谷さんの「10%→25%」のような細かいずれは偶然の範囲。確かに言えるのは本郷さんの90%群の自信過剰と分解能の欠如の2点。
3. 報告と評価の変え方
- 取締役会へは谷さん型の確率を出す。本郷さんの「90%」は実績上60%と読み替えられるが、読み替えても Brier 0.242 で「毎回58.3%」と同水準にしかならない導出。
- 報告書式：「目標：Q3 末リリース」「見通し：期限内の確率 55%（PMO の較正済み予測）」を並べる。
- 評価は四半期累積の Brier で。「約束を守った率」を目標にすると守れる期日しか約束しなくなる（サンドバッギング）。Brier は言った確率と実際の確率が一致するとき期待値が最良になる適正なスコアリング・ルールなので、余裕を積んでも強がっても得にならない文献：Gneiting & Raftery 2007。
採らなかった案と理由
- A. 本郷さんを見通し担当から外す — 現場の技術的な詰まりの情報は谷さんの材料になる。Brier で採点される場を与え、半年で較正を学ぶ機会にする。
- B. 本郷さんの確率を一律 25 ポイント下げる — 較正は直るが分解能は増えない。
- C. 2人の平均 — ずれた予測を混ぜるとずれが残る。48件では実績で重みを決めるにも不安定。
前提が変わったら
- 500件あれば 10% 刻みの較正表で本郷さんの予測も補正して使える。
- 「スコープを削ってでも日付を守る」運用なら、予測の価値は「どれだけ削るか」の見通しに移る。
実践への応用
- 営業パイプライン：「確度A（80%）」の実受注率を営業ごとに出す。予算精度を上げる最も安い方法。
- SRE：変更審査の失敗確率・再発可能性の見積りも同じ採点ができる。
- 起業：VC に出す達成確率は、自分の過去の較正表があると信頼される。
- 異文化：日本の「できます」圧力も米国の楽観圧力も、目標と確率を別欄に書く書式で吸収する。
- Brier を手で計算し、0.311／0.190／0.243 を再現できたか
- 較正と分解能の違いを一言で言えるか
- サンドバッギングが起きる理由を説明できたか
日本法人は投資助言・代理業と投資運用業の登録を持ち、個人向けロボアドを運営仮定。クオンツチームの「AI 戦略」の報告仮定：
- 2014年10月〜2024年9月の 120か月でバックテスト、設定を 300通り試して最良を選んだ
- 選んだ戦略：年率 12.0%、ボラティリティ 8.3%、シャープ 1.45（月次の歪度 −0.9、尖度 6.0）
- 300通りのシャープのばらつき：年率 0.40。実質的に独立なのは「20〜60通りくらい」
- 選択に使わなかった直近 24か月のシャープ 0.35。ただし途中で2回見ている
議題：①シリーズ B のリード投資家（米国 VC）が推す、1月の個人向け公開と「バックテスト年率12.0%」の広告・投資家資料への掲載 ②同じ数字での米国（SEC 登録投資顧問）展開。
- 1.45 はどの程度信用できるか。①補正なし ②300通りが独立で実力ゼロの場合の最良 ③Deflated Sharpe Ratio（DSR）で数字を出せ。
- 直近24か月の 0.35 をどう読むか。「途中で2回見た」は何を意味するか。
- 取締役会で何を決めるか。公開の時期・形、載せる数字、日米の規制、リード投資家への説明を含めて案を比べよ。
バックテストは多重比較の最も高価な例。何百通りも試して最良を選べば、実力がなくても良い成績が出る（バックテストの過剰適合）。Bailey & López de Prado の DSR は試行の数・ばらつき・非正規性を補正し、Harvey・Liu・Zhu は新しい要因の有意性に t 値 3.0 程度を求めた文献。
鍛える力は3つ。①「何回試した中の最良か」を数字に組み込む、②ホールドアウトの汚れ具合を評価する、③統計の判断を広告規制と資金調達の交渉と同時に解く——証券業界出身のエンジニアが起業で最も現実的に直面する場面の1つ。
- まず何を確認すべきか: 試行の数、実質的な独立数、試行のばらつき、期間、リターンの形。そろわないと補正できない。
- 核心にある概念: N 回試した最良は実力ゼロでも 0 より大きい。その「実力ゼロでも出る最良」を基準に上回っているかを測る（DSR）。
- よくある誤り/罠: ①1.45 をそのまま t 値にして「圧倒的に有意」 ②0.35 を「たまたま」と片付ける／「無価値」と決めつける ③「参考値と注記すれば広告に載せてよい」。
- 判断の軸: 実運用の期待シャープを補正値と直近成績の間に置き、外れたときに会社が負う責任（規制・評判・投資家の信頼）を含めて比べる。
1. 1.45 はどの程度信用できるか
- ① 補正なし：1.45 × √10 ≒ t 4.59。歪度・尖度を入れた PSR でも「真のシャープ > 0」の確率 99.98%導出。ただし「300通りから選んだ」を無視している。
- ② 実力ゼロ300本の最良：中央値 0.92、95パーセンタイル 1.18、400回中 1.45 以上は0回シミュレーション。「全部が実力ゼロ」ならまず出ない——ここまでは戦略に有利。
- ③ DSR導出：
| 実質的な試行数 N | 基準値（年率） | DSR |
|---|---|---|
| 300 | 1.16 | 0.77 |
| 60 | 0.94 | 0.90 |
| 20 | 0.76 | 0.96 |
②と③の差：実際のばらつき 0.40 は実力ゼロで期待されるばらつき（約 0.32）より大きく、その分だけ最良が高く出るので基準値が上がる。感度：ばらつき 0.32・正規分布で DSR 0.95、0.40・正規で 0.81、0.32・実際の歪度尖度で 0.91導出。DSR を下げている主因は試行のばらつき、次がリターンの形。Bonferroni 型ヘアカットでは N=300 で 1.01（30% 割引）で、これは楽観側の上限。
2. 直近24か月 0.35 の読み方
- 真のシャープが 1.45 でも、24か月で 0.35 以下になる確率は約 14%（標準誤差 ≒ 1.01）導出。0.35 だけで否定はできない。
- 補正後の上限側 0.8〜1.0 とも矛盾しない。全体として実運用の期待シャープは 0.3〜0.8 程度仮定：判断としての見立て。
- 「途中で2回見た」：見た後に設定を直していれば、ホールドアウトも選択に使われた（データの漏れ）。何を見て何を変えたかの記録を出させる。
- 期待シャープ 0.6 で年率 約5.0%、0.35 で 約2.9%（ボラティリティ 8.3%）導出。手数料年1%前後仮定を引くと 12.0% との差は大きい。
3. 取締役会の決定
| 案 | 中身 | 評価 |
|---|---|---|
| A. 1月公開・広告に12.0%（投資家案） | 最速で評価額に効く | 金商法37条2項は利益の見込みについて著しく事実に相違する表示・誤認させる表示を禁止文献：文言未再確認。試行数を書かずに載せれば誤認表示のリスク大。SEC Marketing Rule（Rule 206(4)-1、2022年11月適用）は仮想パフォーマンスに、想定顧客への適切性を確保する方針と前提の開示を求める |
| B. 自己資金で実運用、12か月後に判断（採る） | 自己資金5億円仮定で開始、月次実績を開示。広告に載せず、資料には「300通りから選択・DSR 0.77〜0.96・ホールドアウト 0.35」 | 遅いが、外れたときの規制・評判・信頼の損失がほぼない |
| C. 戦略をやめる | 安全 | 期待 0.3〜0.8 でも既存の分散投資を補う価値がありうる。捨てる理由はまだない |
12か月で分かること・分からないこと：期待シャープ 0.7 なら「真のシャープ > 0」を95%で言うのに約 83か月、1.0 でも約 45か月（最小トラックレコード長）導出。12か月で確かめるのは、①執行コスト・スリッページ・リスク管理がバックテストどおり動くか、②大きな負けが想定内か、の2点。決着がつかないことを議事録に残す。
評価額への影響は避けられないが、「何通り試したか」は機関投資家のデューデリジェンスで必ず聞かれる。GIPS も仮想パフォーマンスを実績と分けて示すことを求めている文献：該当規定未確認。
採らなかった案（ほかにも迷ったもの）
- D. 広告に載せず投資家資料にだけ12.0% — 後に不振なら「誤解を招く説明で出資させた」争いの火種。補正後の数字と並べるなら可。
- E. 作り直して再バックテスト — 試行が増えて基準値が上がるだけ。判断を進めるのは新しいデータ（実運用）だけ。
- F. 機関投資家向け私募で小さく出す — B の次の段階として有力。外部資金を入れた時点で受託者責任が生じ、実運用前にやる理由が弱い。
前提が変わったら
- 試行の記録がなく 300 という数自体が怪しいなら DSR は計算できない。実運用だけが証拠になる。
- ホールドアウトを一度も見ていないと記録で確認でき、成績が 1.0 以上なら、境目を越えたと判断し F を先に出す余地。
- リード投資家が「前面に出さないなら出資しない」なら、統計より大きな問題——投資家と自社の時間軸のずれ。
実践への応用
- 機械学習：数百通りのハイパーパラメータからテストセットで最良を選ぶのは同じ構造。テストセットを何回見たかを記録する。
- A/B テスト：20本試して1本当たったら、その効果は小さく見積もる。
- 資金調達：試行の数の開示は、短期の評価額を下げても長期の信頼を上げる。金融・医療・AI の評価指標で規制当局と機関投資家は同じ質問をする。
- 証券業界の経験：「過去10年の最高のファンド」を前面に出す営業に、試行数と生存者の問題を指摘できるのは業界を知るエンジニアの強み。
- ②（実力ゼロの最良）と③（DSR）の結論が違う理由を説明できたか
- 0.35 を「否定も肯定もできない」と幅で読めたか
- 規制と資金調達を含めた案の比較を自分で書いたか
扱わなかった範囲・文献
- Q1：階層モデルの推定、集計データだけから個人の関係を推す生態学的推論（King 1997 など）、在宅勤務の効果そのものの研究は扱っていない。無回答の偏りは 10/9 Q1 で扱ったため省いた。
- Q2：較正曲線の信頼区間、複数人の予測の集約（重み付け・極端化）、目標設定理論の詳細は扱っていない。48件のため細かい群の比較は結論に使っていない。
- Q3：CSCV による過剰適合確率（PBO）、取引コストのモデル化、金商業等府令の個別条文、シンガポール MAS の規制は扱っていない。「期待 0.3〜0.8」は判断の見立てでベイズ推定ではない。規制への当てはめは法律事務所の確認が必要。
参照した文献・資料
- W. S. Robinson, "Ecological Correlations and the Behavior of Individuals", American Sociological Review, 15(3), 351–357, 1950（数値は記憶に基づく、原文未確認）
- David A. Freedman, "Ecological Inference and the Ecological Fallacy", International Encyclopedia of the Social & Behavioral Sciences, 1999（書誌のみ）
- Glenn W. Brier, "Verification of Forecasts Expressed in Terms of Probability", Monthly Weather Review, 78(1), 1–3, 1950（書誌のみ）
- Allan H. Murphy, "A New Vector Partition of the Probability Score", Journal of Applied Meteorology, 12(4), 595–600, 1973（書誌のみ）
- Tilmann Gneiting, Adrian E. Raftery, "Strictly Proper Scoring Rules, Prediction, and Estimation", JASA, 102(477), 359–378, 2007（書誌のみ）
- Philip E. Tetlock, Dan Gardner, Superforecasting, Crown, 2015（書誌のみ）
- Edwin A. Locke, Gary P. Latham, "Building a Practically Useful Theory of Goal Setting and Task Motivation", American Psychologist, 57(9), 705–717, 2002（書誌のみ）
- David H. Bailey, Marcos López de Prado, "The Deflated Sharpe Ratio", Journal of Portfolio Management, 40(5), 94–107, 2014（式を計算に使用、原文未再確認）
- David H. Bailey, Marcos López de Prado, "The Sharpe Ratio Efficient Frontier", Journal of Risk, 15(2), 3–44, 2012（書誌のみ）
- Andrew W. Lo, "The Statistics of Sharpe Ratios", Financial Analysts Journal, 58(4), 36–52, 2002（書誌のみ）
- Campbell R. Harvey, Yan Liu, Heqing Zhu, "…and the Cross-Section of Expected Returns", Review of Financial Studies, 29(1), 5–68, 2016（書誌のみ）
- Campbell R. Harvey, Yan Liu, "Backtesting", Journal of Portfolio Management, 42(1), 13–28, 2015（書誌のみ）
- 金融商品取引法 37条（文言は本ファイル作成時に未再確認）
- U.S. SEC, Rule 206(4)-1 under the Investment Advisers Act of 1940（2020年12月採択、2022年11月4日適用開始）
- CFA Institute, GIPS 2020（該当規定未確認）
今日のまとめ・次回へ
今日の Q3 では「補正した数字を、評価額を気にする投資家にどう伝えるか」まで踏み込んだ。明日は、相手が聞きたくない数字を、関係と交渉の中でどう伝えるかを、戦略と説得の側から扱う。