2026-07-10 — IQ-B(批判的思考・認知バイアス)

2026-07-10 IQ-B CRAAPテストによる情報源評価・評価キャリブレーションの公平性設計・確率キャリブレーション

今日のフォーカス

テーマ:情報を「評価する構造」を持つ——ソース評価・評価プロセスの公平性・確率キャリブレーションの3軸

SNSで見かけた「良さそうな話」をCRAAPテストで解剖する情報源評価(Q1)、同じ事実に異なる評価が下る評価キャリブレーション会議の構造的不公平(Q2)、「90%の確信」という言葉が実質的な数値の裏付けを持たないまま使われる組織の意思決定崩壊(Q3)。IQ-Bの核心は個々のバイアスの暗記ではなく、情報評価・意思決定・予測の各局面に「構造的チェックの仕組み」を埋め込む設計力にある。

CRAAPテスト

Currency(時事性)・Relevance(関連性)・Authority(権威性)・Accuracy(正確性)・Purpose(目的)の5要素で情報源を評価するフレームワーク。内容の中身より先に「誰が・いつ・なぜ発信したか」を確認する。

ハロー効果 × 基本的帰属誤謬

一つの肯定的特性(エース社員)が他の評価にも波及するハロー効果と、他者の行動を性格・能力で説明する基本的帰属誤謬が組み合わさると、同じ事実が評価者の好悪によって正反対に解釈される。

キャリブレーション(Tetlock)

「90%確信している」という言明が実際に90%の的中率と一致しているかを検証する概念。優れた予測者は確信度を証拠の強さに比例させ、記録と事後検証を繰り返して精度を上げる。

Q1 ★★★☆☆ 基本 その投稿、鵜呑みにしていないか——CRAAPテストで情報源を解剖する
シナリオ — バックエンドエンジニア:LinkedInで見かけた「マイクロサービス移行成功」投稿

元同僚(現在は無関係なスタートアップのCTO)がLinkedInに投稿:「モノリスからマイクロサービスに移行して、デプロイ頻度が週1回から1日3回に、開発速度は体感3倍になった。チームの誰もが『もっと早くやるべきだった』と言っている。マイクロサービスは正義だ。」150件の「いいね」、複数のエンジニアが賛同コメント。あなたはこの投稿をチームのSlackに共有し「うちもマイクロサービス化を検討すべきでは」と提案しようとしている。

問い
  1. この投稿を共有する前に、CRAAPテスト(Currency/Relevance/Authority/Accuracy/Purpose)の5要素それぞれについて、確認すべき具体的な問いを1つずつ挙げよ
  2. この投稿の主張(「マイクロサービス化→開発速度3倍」)に含まれる可能性が高い認知バイアス・論理的問題を2つ指摘せよ
  3. この情報を「意思決定材料」として使うために、追加でどんな情報・データを集めるべきか。3つ挙げよ
エンジニアは技術的な意思決定でSNS・ブログ記事・カンファレンス発表など、一次情報でない情報に日常的に触れる。「良さそうな話」に飛びついて共有する前に、情報源自体を批判的に評価する習慣は、技術選定・アーキテクチャ判断の質を直接左右する。CRAAPテストという具体的フレームワークを実際のケースに当てはめて運用できるかを問う。
Step 1 ソースを先に見る 内容より先に 発信者・目的を確認 Step 2 CRAAP5要素で分解 時事性・関連性・権威 正確性・目的 Step 3 見えないデータを問う 失敗した移行事例は? 生存者バイアス Step 4 独立検証データを要求 定量比較・隠れコスト 他社事例(失敗含む) 情報源を批判的に評価する4ステップ

CRAAPテスト 5要素マップ

C
Currency 時事性
いつ移行され、いつ投稿されたか。追跡データはあるか
R
Relevance 関連性
組織規模・技術スタックが自チームと近いか
A
Authority 権威性
投稿者は移行を主導した本人か、伝聞か
A
Accuracy 正確性
「3倍」は何で測定されたか。原典データはあるか
P
Purpose 目的
採用ブランディング・営業目的が混じっていないか
核心の問い:「いいね150件・賛同コメント多数」は証拠の質を保証しない。人気は正しさの代理指標ではない——社会的証明・バンドワゴン効果に注意する。

① CRAAPテスト5要素の問い

C
Currency
移行直後の高揚感バイアスがないか。半年〜1年後の追跡データはあるか
R
Relevance
10人規模の知見が50人規模の自組織にそのまま当てはまるか
A
Authority
投稿者は技術的意思決定への実権を持っていたか
A
Accuracy
「開発速度3倍」はデプロイ頻度か主観的体感か。定量データの原典はあるか
P
Purpose
現在マイクロサービス移行コンサルやSaaSベンダーと関わっていないか

② バイアス・論理的問題

生存者バイアス/自己選抜バイアス 相関と因果の混同
  • 生存者バイアス/自己選抜バイアス:移行に失敗した、あるいは効果がなかった企業はこのような投稿をしない。SNSに出てくる移行体験談は構造的に成功例に偏る
  • 相関と因果の混同:移行と同時期に他の要因(人員増強、CI/CD整備、経験豊富なエンジニアの採用等)が発生していた可能性がある。「体感3倍」は主観的であり、新技術への高揚感(プラセボ的効果)も混入しうる

③ 追加で集めるべき情報

01
定量的な移行前後比較
デプロイ頻度・障害率・リードタイム・インシデント数を最低6ヶ月の期間で比較
02
隠れたコスト情報
運用負荷増加・オンコール体制・インフラコスト増加・学習コストによる一時的生産性低下の有無
03
他社事例(失敗含む)と自組織の診断
同規模・同フェーズの成功例だけでなく失敗例。現在のボトルネックが本当にモノリス構造由来かの診断データ

実践への応用

技術選定

技術ブログ・カンファレンス発表を鵜呑みにせず自チームの文脈で独立検証する。ベンダー主導の「導入事例」は特に確証バイアスと利益相反を疑う。

ADRへの組み込み

Architecture Decision Recordに「参照した情報源とその評価(CRAAP)」を明記する運用で、後から判断根拠を検証可能にする。

チームコーチング

メンバーが「〇〇社もやっているから」と提案してきたとき、CRAAPの5要素で一緒に検証する対話をコーチングとして使う。

自己評価(解答後に記入)
自分の考え・解答メモ:
気づき・メモ:

Q2 ★★★★☆ 標準 同じ失敗、違う評価——キャリブレーション会議に潜むハロー効果と帰属の非対称
シナリオ — 四半期評価キャリブレーション会議:エース社員と目立たない社員の同じ遅延

エンジニアB・田中さん(社内で「エース」評判、大型機能を主導)とエンジニアC・鈴木さん(堅実だが目立った実績少ない)が、同じ四半期に同じ理由(他チームとの仕様確定の遅れ)でリリースを2週間遅延させた。両者の遅延の直接的原因は人事部の議事録上ほぼ同一だったことが後日判明した。

マネージャー甲(田中の上司):"田中は他チームの仕様確定が遅かったことが原因で、田中自身は最後まで踏ん張っていた。評価はSのままでいい"
マネージャー乙(鈴木の上司):"鈴木は正直マネジメント能力に疑問がある。もっと早くエスカレーションすべきだった。評価はBに下げる"

問い
  1. マネージャー甲・乙の評価コメントに現れているバイアスを2つ以上特定し、それぞれどの発言に現れているかを示せ
  2. なぜ「同じ原因の遅延」が異なる評価解釈を生んだのか、心理的メカニズムを説明せよ
  3. この種のバイアスをキャリブレーション会議の「プロセス設計」で構造的に減らす方法を2つ提案せよ
評価・昇進判断は、EM/PM/CTOが最も高頻度で公平性を問われる場面であり、無意識のハロー効果や帰属バイアスが直接キャリアに影響を与える。「エース社員は擁護され、目立たない社員は同じ失敗で厳しく評価される」という構造的不公平を検出し、個人の善意に頼らずプロセスで是正する力を鍛える。
Step 1 事実と解釈を分離 遅延原因は同一か 評価だけが違うか Step 2 バイアス名を当てる ハロー効果 基本的帰属誤謬 Step 3 対象入替テスト 名前を入れ替えても 同じコメントを書けるか Step 4 プロセスで是正 匿名先出し 差分監査 評価バイアスを検出する4ステップ

同一事実、非対称な帰属

田中さん(エース)への評価
遅延原因:他チームの仕様確定遅れ
解釈:状況要因に帰属 → 「踏ん張った」
評価:Sを維持
鈴木さん(目立たない)への評価
遅延原因:他チームの仕様確定遅れ(同一)
解釈:内的資質に帰属 → 「能力に疑問」
評価:Bに降格
核心の罠:マネージャー自身は「事実に基づいて評価した」と信じている。事実(原因)は同一なのに、解釈だけが評価者の好悪によって正反対に振れていることに本人は気づいていない。

① バイアスの特定

ハロー効果
Halo Effect
「田中は最後まで踏ん張っていた」。田中への既存の高評価(エース)が今回の遅延の解釈にも波及。実績への好印象が「今回も努力したはずだ」という推測を自動的に生んでいる。
甲の発言
基本的帰属誤謬
Fundamental Attribution Error
同一の外的原因(他チームの仕様確定遅れ)を、甲は田中の状況要因に、乙は鈴木の内的資質(マネジメント能力)に帰属させている。対象への好悪が外的/内的帰属の分岐点になっている。
甲・乙双方
確証バイアス(加点)
Confirmation Bias
甲は「田中は優秀」という既存の信念を支持する情報を強調し、乙は「鈴木は発展途上」という既存の信念を支持する情報を強調している。両者とも既存の見立てを補強する形で事実を解釈。
評価コメント全体

② 心理的メカニズム

好意的な既存印象(田中=エース)がある場合、脳は新しい情報をその印象と整合させようとする(確証バイアスとハロー効果の相互作用)。同じ事実でも「この人ならそんなミスをするはずがない/させたのは外部要因だ」という前提でフィルタリングされる。逆に鈴木への印象が「実績が少ない」場合、失敗は「その人の能力の証拠」として過大解釈されやすい。加えてネガティビティバイアスが働き、印象の薄い相手の悪い情報はより重く記憶・評価される傾向がある。

③ プロセス設計での是正

1
事実の匿名先出し
全マネージャーがまず遅延の「事実」だけを匿名で提出し、評価者名・対象者名は後から開示する二段階プロセスにする
2
差分監査の義務化
「同じ事象・同じ原因」のケースを人事側が横並びで比較するチェックリストを用意し、評価差が生じた場合は理由の説明を義務付ける

実践への応用

パフォーマンスレビュー

キャリブレーション会議の冒頭で「事実」と「解釈」を別々の欄に書かせるフォーマットを導入する。

採用面接

候補者の学歴・前職ブランドを伏せてスキル評価だけを先に行うブラインドスクリーニング。

コードレビュー

「誰が書いたか」を伏せて品質評価を行う仕組み。特にジュニア/シニアの非対称な評価を防ぐ。

自己評価(解答後に記入)
自分の考え・解答メモ:
気づき・メモ:

Q3 ★★★★★ 応用 「90%の確信」は何を意味していたか——グローバル展開とキャリブレーションの崩壊
シナリオ — SaaS企業の東南アジア展開:「90%の確信」から1年後の振り返り

経営陣が投資家に「市場調査の結果、90%の確信を持って展開が成功すると考えている」と説明。1年後:想定ARR3億円 → 実績4,000万円(13%)/「現地パートナーとすぐ提携」想定 → 実際は8ヶ月/「日本と同じプロダクトで通用」想定 → 決済インフラ・言語対応の再設計が必要と判明/振り返り会議で「最初から分かっていたはずだ」の声が複数上がった。

問い
  1. 「90%の確信」という言葉が実質的に何を意味していたか、Superforecasting(Tetlock)のキャリブレーション概念を用いて批判的に評価せよ
  2. この失敗の意思決定プロセスに埋め込まれていた認知バイアスを3つ特定し、それぞれ市場調査・提携交渉前提・プロダクト前提のどのフェーズで発動したかを示せ
  3. 次回の海外展開判断で「確信度」を意味のある数字にするための、確率キャリブレーションの実践プロセスを設計せよ
グローバル展開はまさに「tech系グローバル起業」というキャリア目標に直結する意思決定領域。「確信度」という言葉が数値的な裏付けを持たないまま使われる組織は多く、Tetlockのキャリブレーション研究が示す「優れた予測者の特徴」(正確な確率の識別、記録と事後検証)を実務プロセスに落とし込む力を鍛える。IQ-Bの最高難度として、バイアスの指摘にとどまらず「確信度そのものを設計し直す」段階まで踏み込む。
市場調査フェーズ 提携交渉前提 振り返りフェーズ 是正の方向 楽観バイアス ARR3億円は 最良ケースに 近い数字 (悲観未検討) 計画錯誤 提携「すぐ決まる」 参照クラスを 無視し願望を 計画値に 後知恵バイアス 「最初から 分かっていた」 は事後的錯覚 学習を妨げる キャリブレーション 確率分布で記録 参照クラス必須化 予測ジャーナル で事後検証 「90%の確信」が崩壊するまでの3フェーズと是正

想定 vs 実績(キャリブレーション崩壊の可視化)

想定ARR 3億円
基準
実績ARR 4,000万円
13%
提携交渉:想定 vs 実際
8ヶ月/1ヶ月想定
核心の罠:「確信度が高いこと」と「証拠が強いこと」を混同している。経営陣の意欲(やりたい気持ちの強さ)が、確率の言明そのものに無自覚に混入していた。

① 「90%の確信」の批判的評価

Tetlockの研究では、優れた予測者(Superforecaster)は「90%」「70%」といった数値を、実際の的中率と一致させる訓練を積んでいる。一般的な人間の「90%確信」は実際には60〜70%程度の的中率しかないことが多く、特に感情的コミットメント(経営陣の「やりたい」という意欲)が強い場面では、確信度は証拠の強さではなく「意欲の強さ」を反映してしまう。

今回のケースでは、「90%」の根拠となった市場調査が、提携交渉の期間・プロダクト適合の技術的負債という2つの重要な不確実性を評価に含めていなかった可能性が高い。数値自体に実質的な裏付けがなく、実態は「ぜひ成功させたい」という願望の言い換えだったと考えられる。真にキャリブレーションされた「90%」であれば、「同様の確信度で判断した過去10回の意思決定のうち9回が成功している」という参照クラスの実績に裏付けられているはずである。

② 3つのバイアスとフェーズ

楽観バイアス
Optimism Bias
ARR3億円という想定が、最も可能性の高いシナリオではなく「望ましいシナリオ」に近い数字になっている。悲観・現実的シナリオが十分に重み付けされて検討されなかった。
市場調査フェーズ
計画錯誤
Planning Fallacy
「提携がすぐ決まる」という想定は、参照クラス(海外展開における提携交渉の一般的所要期間)を無視し、自社が望む最短スケジュールをそのまま計画値にしている。
提携交渉前提フェーズ
後知恵バイアス
Hindsight Bias
「最初から分かっていたはずだ」という声自体が後知恵バイアスの典型。意思決定時点では十分検討されていなかった情報を、結果を知った後に「予測可能だった」と錯覚し、本当の失敗要因の分析を妨げる。
振り返りフェーズ

③ 確率キャリブレーションの実践プロセス

1
シナリオ別の確率分布で記録
「ARR3億円達成確率20%/1.5億円達成確率50%/5,000万円未満確率20%」のように分布で明示する
2
参照クラス予測の必須化
過去の類似海外展開判断(自社・他社)の実績的中率を確認してから確信度を申告する。参照クラスがなければ「不確実性が高い」ことを明示する
3
前提ごとの確率の検算
提携交渉期間・プロダクト適合コストなど個別前提に確率をつけ、掛け合わせが全体の確信度と整合しているか確認する
4
キャリブレーション・ジャーナルの運用
予測の日付・根拠・数値を記録し、結果判明後に「なぜその数字だったのか、何が見落とされていたか」を検証する
5
「〇%の確信」を問い返す文化
意思決定会議でその言葉が出た瞬間に「その数字はどの参照クラスに基づくか」を問う合意をルール化する

実践への応用

投資家対話

「必ず成功します」ではなく「シナリオ別の確率分布とその根拠」で語る経営陣は、投資家からの信頼と検証可能性の両方を得る。

プロダクトローンチ

新機能の成功確率見積もりにも同じ手法を適用し、事後に予測と実績を照合する習慣をチームに根付かせる。

新規事業・起業判断

参照クラスが乏しい意思決定ほど確信度を過大申告しやすい。「参照クラスがない」こと自体をリスク要因として明示する規律が、グローバル起業を目指す上で重要。

自己評価(解答後に記入)
自分の考え・解答メモ:
気づき・メモ:

今日のまとめ

情報を「受け取る」だけでなく「評価する構造」を持つこと——これが今日の3問を貫くテーマ。ソースそのものを疑うCRAAPテスト(Q1)、同じ事実に異なる解釈を生む評価プロセスの非対称性(Q2)、そして「確信度」という言葉を実質的な数値に鍛え直すキャリブレーション(Q3)。IQ-Bの核心は、個々のバイアスを暗記することではなく、情報評価・意思決定・予測という3つの局面それぞれに「構造的なチェックの仕組み」を埋め込む設計力にある。

次回への接続

明日(土): Thinking-B

戦略思考・コミュニケーション。今日Q3で扱った「参照クラス予測」「シナリオ別確率分布」は、戦略立案における不確実性下の意思決定フレームワークと直結する。Q2の「プロセス設計による公平性の担保」という発想も、戦略実行時のステークホルダー調整・合意形成の設計に応用できる。

今日の3問の共通スキル

ソースを疑う(CRAAPテスト)→ 評価プロセスの非対称性を検出する(ハロー効果・帰属誤謬)→ 確信度そのものを数値として鍛え直す(キャリブレーション)。この3層が「情報を評価する構造」の実践的体系。