今日のフォーカス
データは誰を選んだかで形を変え（Q1）、判断は結果がどう出たかで評価を変えられ（Q2）、効果は誰の体感で何の指標で測ったかで大きさを変える（Q3）。
バークソンのパラドックス
2つの要因の合計で選ばれた集団だけを見ると、元の集団に無い負の相関が現れる（合流点バイアス）。
結果バイアス
判断を、判断の時点で入手できた情報ではなく、後から出た結果で評価してしまう。
体感と代理指標
体感の速さ・PR数など測りやすいものが、顧客に価値が届く速さ・品質という本来の目的とずれる。
- 最終面接に進んだ候補者は3年間で 240人。全員が両方の点（各100点）を持つ
- 内定の基準は 2つの点の合計が140点以上（上位40人）
- 不合格の200人の点数も人事の記録に残っている
| 集団 | 人数 | 相関係数 シミュレーション |
|---|---|---|
| 最終面接に進んだ全員 | 240人 | +0.01 |
| 内定者（合計140点以上） | 40人 | −0.61 |
| 70点を境に分類 | 全員 240人 | 内定者 40人 |
|---|---|---|
| コード高・コミュ高 | 18 | 18 |
| コード高・コミュ低 | 47 | 12 |
| コード低・コミュ高 | 48 | 10 |
| コード低・コミュ低 | 127 | 0 |
- 宮下さんの推論の誤りを、構造の名前を挙げて指摘せよ
- 2つの表を使い、関係の無い集団からでも内定者だけを見ると負の相関が「作られる」理由を説明せよ
- 本当の心配が「コミュニケーションが弱い人を採ること」なら、追加面接の代わりに何をすべきか。基準を変えるとき何を得て何を失うかも示せ
Berkson（1946）が、入院患者だけを対象にした病気同士の関連の分析で指摘した偏り。因果推論では、2つの矢印が流れ込む変数（ここでは「内定」）を合流点と呼び、そこで条件づけると無関係な2つの原因の間に見かけの関連が生まれる（Pearl & Mackenzie 2018）。採用・昇進・投資・論文採択など「総合判断で選ばれた人だけのデータ」は実務のほとんどで、そこから「AとBはトレードオフ」と結論して制度を変えると、存在しないトレードオフに合わせて制度を歪める。狙いは、選ばれなかった人を含めて再計算する習慣。
240人の散布図：緑が内定者40人、斜めの線が「合計140点」
2つの点を独立に 平均60・標準偏差15 で生成（乱数シード 20260931）シミュレーション
40人は「コード＋コミュ ≥ 140」という2つの変数の合計で選ばれた集団で、その中の負の相関は選び方が作ったもの（バークソンのパラドックス）。選ぶ前の240人では相関 +0.01。「コミュが低い人を採りたくない」なら、コードの強い人にだけ関門を足すのではなく、全員にコミュの下限を設けるのが筋。
① 推論の誤り
② 負の相関が作られる理由
合計140点を超えるには、コード75点ならコミュ65点以上、コード90点ならコミュ50点台でよい。足し算の埋め合わせ（補償型の選考）が、内定者の中の負の相関をそのまま作る。標本を増やしても消えない シミュレーション：1,000回。
③ 何をすべきか：基準の選択肢とトレードオフ
| 案 | 得るもの | 失うもの |
|---|---|---|
| A. 今のまま（合計140点） | 一方が突出した人材（今回はコード91・コミュ56 など）を採れる | コミュが低めの人が一定数入る |
| B. 両方65点以上（非補償型） | 全員に最低限の対話力を保証。240人に当てると41人・相関 +0.01 | 今回の内定者40人のうち10人が落ちる（コミュ65点未満の6人と、コード65点未満の4人） |
| C. 合計140点 かつ コミュ60点以上（推奨） | A の長所を残して下限だけ守る。落ちるのは4人（コード85〜91・コミュ56〜59） | 下限60点の根拠が要る（入社後データで確認） |
| D. 宮下案（コード85点以上に追加面接） | 何も得ない（前提が偽の相関） | コードの強い候補者の辞退が増える |
実践への応用
VC・投資
「投資先では業界経験が長い創業者ほど成長が遅い」は、「経験 または 勢い」で選んだ結果かもしれない。見送った案件の追跡が要る。
昇進・論文採択
「昇進者は技術力が高いほど人望が低い」「斬新な論文ほど実験が弱い」も、総合評価で選んでいれば同じ構造。
グローバル採用
「英語が上手い候補者ほど技術が弱い」と感じたら、書類選考が英語力＋技術の総合でないかを先に確かめる。
田村さん（評価案：C）
年末商戦の3週間前に決済DBのメジャー更新。旧版は2ヶ月後にサポート終了。段階切り替え（5%→25%→100%）・切り戻しリハーサル2回を実施。ドライバーの不具合で38分停止、損失2,100万円 仮定。不具合の公表は障害の11日後。2年前の同規模更新（段階なし）は5.2時間停止。
森さん（評価案：S）
大型キャンペーンの3日前に新しい決済画面を公開。2日かかる負荷試験を省略。障害は起きず、キャンペーン売上1億2,000万円。上原さん「スピードと胆力で売上を取りに行った」。
| キャンペーン前のリリース（過去2年）仮定 | 件数 | 障害 | 障害時の平均損失 |
|---|---|---|---|
| 負荷試験を省略 | 14件 | 4件 | 6,000万円 |
| 負荷試験を実施 | 34件 | 3件 | 6,000万円 |
負荷試験をすると公開が2日遅れ、売上が1日400万円減る 仮定。
- 評価案にある判断の歪みを名前で指摘し、なぜ陥るのかを説明せよ
- 「判断の質」と「結果」を分けて2人を評価せよ。森さんの判断は期待値でどうだったか。14件という少ない件数で、その結論はどのくらい確かか
- 結果も判断も両方評価する制度を設計せよ。何を記録し、誰が、いつ評価するか
判断を、判断時点の情報ではなく後から出た結果で評価してしまう傾向。Baron & Hershey（1988）は、同じ情報で同じ手術を選んだ医師の判断が、患者が亡くなった場合に低く評価されることを示した。Annie Duke（2018）はこれを「resulting」と呼ぶ。評価制度に入ると、組織は「慎重に準備して運悪く失敗した人を罰し、手順を省いて運よく成功した人を褒める」ことを学ぶ。本問は期待値に加え、少ない件数からの確率推定の不確かさ（信頼区間）まで扱い、「判断が悪かった」と言える強さを見積もる。
評価案は結果バイアス。田村さんは「良い判断・悪い結果（不運）」、森さんは社内記録の期待値で見て「悪い判断・良い結果（幸運）」の可能性が高い——ただし14件からの推定なので「確実に悪い」とまでは言えない。評価は「成果」と「判断の質」の2欄に分け、判断の前に書いた記録で判断を採点する。
森さんの判断：期待コストの比較 導出
| 選択 | 障害の確率 | 期待損失 | 試験の費用 | 合計 |
|---|---|---|---|---|
| 負荷試験を省略 | 4/14 ≒ 29% | 1,714万円 | 0 | 1,714万円 |
| 負荷試験を実施 | 3/34 ≒ 9% | 529万円 | 800万円 | 1,329万円 |
その結論はどのくらい確かか
区間の大部分は分岐点22%【導出：(800万＋529万) ÷ 6,000万】より上 → 悪い判断だった可能性が高い。ただし下限12%は分岐点を下回るので断定はできない。平均6,000万円の裏には、加盟店の解約・当局への報告という大きな損失の尾があり、それを考えると省略はさらに不利。
森さん：記録に無い根拠（変更範囲が小さい等）を持っていた可能性があるので、本人に確認する。結果で罰しないのと同じく、推測でも罰しない。
制度の設計：成果と判断の質を2欄に分ける
1. 判断記録を「判断の前」に書く
損失見込み1,000万円以上の判断が対象。選んだ案／他の案と採らなかった理由／当時分かっていたこと・分かっていなかったこと／成功確率と失敗時の損失の見込み。5〜10分で書ける1枚にする。
2. 評価会議は「記録 → 結果」の順に読む
結果を知ってから記録を読むと後知恵が入る。判断の質は本人以外の2人が採点する。
3. 成果は成果として評価する
森さんの売上1億2,000万円は成果として正当に評価し、判断の欄で「省略の判断は記録上の期待値で不利、次回は根拠を記録で示す」と伝える。
4. 長期では結果も証拠にする
1回の結果は運が大きいが、20回、30回の判断が積み重なれば結果の平均は判断の質を映す。記録した成功確率と実際の結果の当たり具合（キャリブレーション）を見る。
前提が変わったら：記録の書き手が評価を意識して成功確率を操作し始めたら、記録を評価から切り離し、学習のための振り返りだけに使う。
実践への応用
投資・起業
失敗した投資だけでなく、成功した投資の判断こそ振り返る。運で当たった判断を型にすると次の失敗の種になる。
ポストモーテム
「誰が悪いか」ではなく「当時何が見えていたか」を再現するブレームレスの振り返りは、結果バイアスへの組織的な対策。
日米の文化差
米国型の「結果を出した人を評価」、日本型の「失敗の責任を問う」、どちらでも結果バイアスは起きる。判断記録は両方で通じる共通言語。
| 指標 仮定：社内データ | 利用者30人（導入前 → 6ヶ月後） | 非利用者90人 |
|---|---|---|
| PR数（1人・1ヶ月） | 8.1 → 13.1（+62%） | 7.6 → 7.9（+4%） |
| 1PRあたりの変更行数 | 142 → 210（+48%） | 150 → 148 |
| 変更失敗率 | 8.2% → 11.8% | 8.0% → 7.9% |
| 初回レビューまでの時間（中央値） | 4.1h → 9.6h | 4.3h → 4.6h |
| 変更のリードタイム（中央値） | 2.9日 → 2.6日（−10%） | 3.0日 → 3.0日 |
| アンケート「生産性が上がった」 | 26/30人、体感 +35% | 調査なし |
- 付録：利用者30人のうち21人は新製品チーム（新規開発）。同チームの非利用者5人もPR数 +41%（設計段階から実装段階に移ったため）
- 付録：レビューの大半を担うシニア18人（ほぼ非利用者）のレビュー時間は週 6.5h → 11.0h
- ライセンスは1人月2万円、人件費は1人年1,000万円 仮定
- あなた自身も毎日使っていて「確実に速くなった」と感じている。CEOは「一言で結論を」と求めている
- 推進チームの推論（体感 → PR数 → 42人分 → 採用凍結）の各段にある欠陥を、少なくとも4つ、名前と数字で指摘せよ
- 「今言えること」と「今は言えないこと」を分けよ。あなた自身の体感はどちらの証拠として扱うべきか
- 取締役会での結論と12週間の検証計画を設計せよ。判断基準を事前に決め、どの結果で判断を変えるかを示すこと。「展開しない」リスクも考慮せよ
この題材には世界で評価されている一次資料が2つある。
「エージェントの展開は進めます。ただし採用凍結は、12週間後の実測で基準を満たした場合にだけ判断します。今の数字で分かったのは『コードは増えたが、届く速さはほぼ変わらず、失敗とレビュー負荷が増えた』ということです。」
① 推論の6つの欠陥
| 欠陥 | 根拠 |
|---|---|
| 自己報告と実測のずれ（＋自分で選んだものを良く評価する傾向） | METR：体感 −20%、実測 +19%。体感は向きまで外れうる 文献 |
| 自己選択と交絡 | 30人中21人が新規開発チーム。同チームの非利用者もPR +41%。同チーム内で比べると PR の差は 1.66 ÷ 1.41 ≒ 約+18% に縮む 仮定の内訳から導出 |
| 代理指標のすり替え（マクナマラの誤謬） | コード量 約2.4倍【13.1×210 ÷ (8.1×142)】に対し、リードタイムは −10% 導出 |
| 悪い数字を付録に置く（報告の選択） | 1人・1ヶ月の失敗した変更 0.66 → 1.55件（約2.3倍）導出。DORA 2024 の「大きな変更は安定性を下げる」と同じ向き |
| ボトルネックの見落とし（制約理論） | レビュー待ち 4.1h → 9.6h、シニアのレビュー時間 週6.5h → 11.0h。コストが利用者でなくレビュアーに移り、利用者の指標に現れない |
| 線形の外挿 | 120人 × 35% = 42人は、体感を保守中心の非利用者90人にも、コードを書かない時間にも当てはめた計算 |
② 言えること／言えないこと
今言えること
利用者のコード産出量は増えた（約2.4倍）。変更の失敗も増えた（約2.3倍）。制約がレビュー工程に移った兆候がある。リードタイムはわずかに縮んだ（−10%、ただし交絡あり）。
今は言えないこと
「生産性35%向上」（体感のみ）。「42人分・4.2億円」（外挿）。「採用を凍結しても速さと品質が保てる」（シニアの負荷はむしろ上がっている）。
自分の体感の扱い
CTO自身の「速くなった」は、METR の参加者と同じ種類の証拠（自己報告）。仮説の材料にし、結論の根拠にしない。取締役会で自分からそう言えることが信頼になる。
③ 12週間の検証計画と、事前に合意する判断基準
- 段階的な無作為展開（stepped-wedge）：未導入の約15チームを無作為に3波に分け、4週ごとに導入。同じ時期に導入済み・未導入が並ぶので、開発段階や季節の影響を比較で打ち消せる。最終的に全員が使えるので不公平感が小さい
- 主要指標を事前に公開：変更のリードタイムと変更失敗率（DORA の定義）。副次指標：レビュー待ち、シニアのレビュー時間、手戻り、顧客影響のある障害。体感は参考として並べるが判断には使わない
- 品質の歯止め：PRの大きさの上限（例 400行）、エージェントが書いたPRの本人確認チェックリスト、レビュー担当をシニア18人以外に広げる研修（制約を強化する）
| 12週間後の結果 | 判断 |
|---|---|
| リードタイム −15%以上、かつ失敗率の悪化 +1ポイント以内 | 採用計画を縮小（例 12人 → 6人）。縮小幅は測った効果から算出 |
| リードタイム −5〜−15%、または失敗率 +1〜+3ポイント悪化 | 採用計画は維持。レビュー体制と歯止めを強化して、もう12週間測る |
| 改善 5%未満、または失敗率 +3ポイント超の悪化 | 採用計画は維持。対象業務を絞るなど使い方を見直す |
採らなかった案：全社一斉展開＋前後比較（今回と同じ交絡を繰り返す）／展開を止めて外部研究を待つ（条件が自社と違う）／採用凍結を承認（レビューが制約の今、品質が落ちる可能性が高い）。
前提が変わったら：自社に近い条件の無作為化・準実験の外部研究でリードタイムと品質の両方の改善が示されたら検証期間を短くする。12週間でエージェント由来の変更から顧客影響のある障害が2件以上出たら、途中で止めて歯止めを見直す。
実践への応用
新ツール・新手法の導入
ローコード、新しいCI、スクラム導入も「希望者が満足している」から全社効果を外挿する同じ構造。
資金調達
投資家向け資料に「AIで生産性3倍」と書く前に、6つの欠陥を避けた測り方か確かめる。質の高い投資家ほどここを聞く。
多国籍組織
拠点ごとに開発段階・製品が違うため拠点間比較は交絡だらけ。無作為展開の単位をチームにするのは国をまたいでも有効。
今日のまとめ・次回へ
Q3でCTOは「展開は進めるが、採用凍結は基準を満たしてから」という、推進チームと取締役会の両方に応える結論を作った。明日は、このように相手の目的を否定せずに、判断の順番と条件を変えて合意を作る説得・交渉の技術を、戦略立案の文脈で鍛える。
扱わなかった範囲・参照文献
- Q1：シミュレーションは2つの点が正規分布で完全に独立という単純な仮定。面接官ごとの癖、範囲制限の補正手法は名前を挙げるにとどめた。
- Q2：障害率は二項分布の Wilson 区間だけで扱い、損失額のばらつきは定量化していない。ベイズ推定、評価の不利益変更の法的論点は扱っていない。
- Q3：METR と DORA 2024 の数値は 2026-09-25 に一次資料・紹介記事で確認。DORA 2025 年版は原文未確認のため扱っていない。stepped-wedge の検出力計算（15チーム・12週で −15% を検出できるか）はしていない。
- スキルが挙げる参照先
Business/EQ・IQ・Thinking/は現時点で存在しないため、下記文献を直接参照した。過去のIQ-B 20回分と題材が重複しないことを確認した。
- J. Berkson, "Limitations of the Application of Fourfold Table Analysis to Hospital Data", Biometrics Bulletin 2(3), 47–53, 1946
- J. Pearl & D. Mackenzie, The Book of Why, Basic Books, 2018
- J. Baron & J. C. Hershey, "Outcome Bias in Decision Evaluation", JPSP 54(4), 569–579, 1988
- A. Duke, Thinking in Bets, Portfolio, 2018
- J. Becker, N. Rush, B. Barnes, D. Rein (METR), "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", arXiv:2507.09089, 2025 — arxiv.org/abs/2507.09089（2026-09-25 参照）
- Google Cloud DORA, Accelerate State of DevOps Report 2024 — dora.dev/research/2024/dora-report/（数値は RedMonk の紹介記事で 2026-09-25 確認）
- E. M. Goldratt, The Goal, North River Press, 1984