今日のフォーカス
SNSで見かけた「良さそうな話」をCRAAPテストで解剖する情報源評価(Q1)、同じ事実に異なる評価が下る評価キャリブレーション会議の構造的不公平(Q2)、「90%の確信」という言葉が実質的な数値の裏付けを持たないまま使われる組織の意思決定崩壊(Q3)。IQ-Bの核心は個々のバイアスの暗記ではなく、情報評価・意思決定・予測の各局面に「構造的チェックの仕組み」を埋め込む設計力にある。
CRAAPテスト
Currency(時事性)・Relevance(関連性)・Authority(権威性)・Accuracy(正確性)・Purpose(目的)の5要素で情報源を評価するフレームワーク。内容の中身より先に「誰が・いつ・なぜ発信したか」を確認する。
ハロー効果 × 基本的帰属誤謬
一つの肯定的特性(エース社員)が他の評価にも波及するハロー効果と、他者の行動を性格・能力で説明する基本的帰属誤謬が組み合わさると、同じ事実が評価者の好悪によって正反対に解釈される。
キャリブレーション(Tetlock)
「90%確信している」という言明が実際に90%の的中率と一致しているかを検証する概念。優れた予測者は確信度を証拠の強さに比例させ、記録と事後検証を繰り返して精度を上げる。
元同僚(現在は無関係なスタートアップのCTO)がLinkedInに投稿:「モノリスからマイクロサービスに移行して、デプロイ頻度が週1回から1日3回に、開発速度は体感3倍になった。チームの誰もが『もっと早くやるべきだった』と言っている。マイクロサービスは正義だ。」150件の「いいね」、複数のエンジニアが賛同コメント。あなたはこの投稿をチームのSlackに共有し「うちもマイクロサービス化を検討すべきでは」と提案しようとしている。
- この投稿を共有する前に、CRAAPテスト(Currency/Relevance/Authority/Accuracy/Purpose)の5要素それぞれについて、確認すべき具体的な問いを1つずつ挙げよ
- この投稿の主張(「マイクロサービス化→開発速度3倍」)に含まれる可能性が高い認知バイアス・論理的問題を2つ指摘せよ
- この情報を「意思決定材料」として使うために、追加でどんな情報・データを集めるべきか。3つ挙げよ
CRAAPテスト 5要素マップ
① CRAAPテスト5要素の問い
② バイアス・論理的問題
- 生存者バイアス/自己選抜バイアス:移行に失敗した、あるいは効果がなかった企業はこのような投稿をしない。SNSに出てくる移行体験談は構造的に成功例に偏る
- 相関と因果の混同:移行と同時期に他の要因(人員増強、CI/CD整備、経験豊富なエンジニアの採用等)が発生していた可能性がある。「体感3倍」は主観的であり、新技術への高揚感(プラセボ的効果)も混入しうる
③ 追加で集めるべき情報
実践への応用
技術選定
技術ブログ・カンファレンス発表を鵜呑みにせず自チームの文脈で独立検証する。ベンダー主導の「導入事例」は特に確証バイアスと利益相反を疑う。
ADRへの組み込み
Architecture Decision Recordに「参照した情報源とその評価(CRAAP)」を明記する運用で、後から判断根拠を検証可能にする。
チームコーチング
メンバーが「〇〇社もやっているから」と提案してきたとき、CRAAPの5要素で一緒に検証する対話をコーチングとして使う。
エンジニアB・田中さん(社内で「エース」評判、大型機能を主導)とエンジニアC・鈴木さん(堅実だが目立った実績少ない)が、同じ四半期に同じ理由(他チームとの仕様確定の遅れ)でリリースを2週間遅延させた。両者の遅延の直接的原因は人事部の議事録上ほぼ同一だったことが後日判明した。
マネージャー甲(田中の上司):"田中は他チームの仕様確定が遅かったことが原因で、田中自身は最後まで踏ん張っていた。評価はSのままでいい"
マネージャー乙(鈴木の上司):"鈴木は正直マネジメント能力に疑問がある。もっと早くエスカレーションすべきだった。評価はBに下げる"
- マネージャー甲・乙の評価コメントに現れているバイアスを2つ以上特定し、それぞれどの発言に現れているかを示せ
- なぜ「同じ原因の遅延」が異なる評価解釈を生んだのか、心理的メカニズムを説明せよ
- この種のバイアスをキャリブレーション会議の「プロセス設計」で構造的に減らす方法を2つ提案せよ
同一事実、非対称な帰属
解釈:状況要因に帰属 → 「踏ん張った」
評価:Sを維持
解釈:内的資質に帰属 → 「能力に疑問」
評価:Bに降格
① バイアスの特定
② 心理的メカニズム
③ プロセス設計での是正
実践への応用
パフォーマンスレビュー
キャリブレーション会議の冒頭で「事実」と「解釈」を別々の欄に書かせるフォーマットを導入する。
採用面接
候補者の学歴・前職ブランドを伏せてスキル評価だけを先に行うブラインドスクリーニング。
コードレビュー
「誰が書いたか」を伏せて品質評価を行う仕組み。特にジュニア/シニアの非対称な評価を防ぐ。
経営陣が投資家に「市場調査の結果、90%の確信を持って展開が成功すると考えている」と説明。1年後:想定ARR3億円 → 実績4,000万円(13%)/「現地パートナーとすぐ提携」想定 → 実際は8ヶ月/「日本と同じプロダクトで通用」想定 → 決済インフラ・言語対応の再設計が必要と判明/振り返り会議で「最初から分かっていたはずだ」の声が複数上がった。
- 「90%の確信」という言葉が実質的に何を意味していたか、Superforecasting(Tetlock)のキャリブレーション概念を用いて批判的に評価せよ
- この失敗の意思決定プロセスに埋め込まれていた認知バイアスを3つ特定し、それぞれ市場調査・提携交渉前提・プロダクト前提のどのフェーズで発動したかを示せ
- 次回の海外展開判断で「確信度」を意味のある数字にするための、確率キャリブレーションの実践プロセスを設計せよ
想定 vs 実績(キャリブレーション崩壊の可視化)
① 「90%の確信」の批判的評価
今回のケースでは、「90%」の根拠となった市場調査が、提携交渉の期間・プロダクト適合の技術的負債という2つの重要な不確実性を評価に含めていなかった可能性が高い。数値自体に実質的な裏付けがなく、実態は「ぜひ成功させたい」という願望の言い換えだったと考えられる。真にキャリブレーションされた「90%」であれば、「同様の確信度で判断した過去10回の意思決定のうち9回が成功している」という参照クラスの実績に裏付けられているはずである。
② 3つのバイアスとフェーズ
③ 確率キャリブレーションの実践プロセス
実践への応用
投資家対話
「必ず成功します」ではなく「シナリオ別の確率分布とその根拠」で語る経営陣は、投資家からの信頼と検証可能性の両方を得る。
プロダクトローンチ
新機能の成功確率見積もりにも同じ手法を適用し、事後に予測と実績を照合する習慣をチームに根付かせる。
新規事業・起業判断
参照クラスが乏しい意思決定ほど確信度を過大申告しやすい。「参照クラスがない」こと自体をリスク要因として明示する規律が、グローバル起業を目指す上で重要。
今日のまとめ
次回への接続
明日(土): Thinking-B
戦略思考・コミュニケーション。今日Q3で扱った「参照クラス予測」「シナリオ別確率分布」は、戦略立案における不確実性下の意思決定フレームワークと直結する。Q2の「プロセス設計による公平性の担保」という発想も、戦略実行時のステークホルダー調整・合意形成の設計に応用できる。
今日の3問の共通スキル
ソースを疑う(CRAAPテスト)→ 評価プロセスの非対称性を検出する(ハロー効果・帰属誤謬)→ 確信度そのものを数値として鍛え直す(キャリブレーション)。この3層が「情報を評価する構造」の実践的体系。