過信を減らす実践 ── キャリブレーション訓練と Pre-mortem

本シリーズの最も実践的な回に入ります。第 1 回〜第 7 回までで、過信が起きる構造、観察するサイン、学習を妨げる仕組み、そして中庸の倫理的な核を辿りました。本回は、これらの理論を 具体的に過信を減らす技法 として工具箱化します。キャリブレーション訓練 ── Lichtenstein らが 1980 年代に確立した確率判断の精度を上げる方法、Brier (1950) が立てた予測の正確さの数値化、Mellers らの Good Judgment Project (2015) による訓練効果の実証。Pre-mortem ── Gary Klein (2007) が提示した、判断の前に失敗のシナリオを書き出す技法。Reference Class Forecasting ── Kahneman と Lovallo (1993) が示した、類似ケースの統計に判断を係留する方法。Devil's Advocate、10/10/10 ルール ── 過信に抗うための制度的・時間的な工具。本シリーズで最も "工具箱" 的な性格を持つ回として、現場で明日から使える技法を整理します。

01なぜ "実践" が独立した章である必要があるか

第 7 回で中庸の作法を扱った後で、なぜ独立した "実践" の章が必要か。理由は、第 1 回で引用した Kahneman の警告に直結しています。過信について知ることと、過信を減らすことは別のこと。理論的理解は実践を支えるが、置き換えはしない。具体的な技法 ── 紙とペンと時間さえあれば使える工具 ── を持たない限り、知識は判断の現場には届きません。

本回が扱うのは、半世紀の判断研究の蓄積が示した 実証的に効果の確認された技法 です。重要なのは、これらの技法のすべてが「過信そのものを直接攻撃する」のではなく、「判断のプロセスに過信が入り込みにくい構造を作る」ものだということです。第 3 回で見た防衛機制の議論と整合します ── 無意識を直接見るのではなく、無意識の作動条件を変える。

「過信を減らすための介入の効果は、その介入がどれだけ "判断の振り返り" を強制するかに比例する。漠然と "気をつけよう" と思うことは効果がない。明示的な技法 ── 数値、書き出し、シナリオ、第三者の視点 ── を導入したときにのみ、過信は測定可能な程度に減る」── J. Edward Russo & Paul J. H. Schoemaker『Sloan Management Review』(1992) より趣旨

本回の前半 (第 2 節〜第 4 節) でキャリブレーションの理論と訓練を扱い、中盤 (第 5 節〜第 8 節) で四つの異なる工具 (Pre-mortem、Reference Class Forecasting、Devil's Advocate、10/10/10 ルール) を解説し、後半 (第 9 節〜第 10 節) で資材審査の現場での実践に降ろします。本シリーズで最も "持ち帰れる" 性格を持つ回として組み立てています。

02キャリブレーションとは何か ── Lichtenstein らの研究

過信を減らす実践の出発点は、キャリブレーション (calibration) の概念です。これは、自分が表明する確信度と、実際の正確さのあいだのずれを測り、調整する作法を指します。判断研究におけるキャリブレーション概念の体系化は、1970 年代後半から始まりました。中心人物は、米国の判断研究者 サラ・リクテンスタイン、バルーク・フィッシュホフ (第 6 回で扱った後知恵バイアス研究の同じ研究者)、ローレンス・フィリップス の三人です。

「キャリブレーションが取れているとは、こういう状態である ── 自分が "70% の確信" と表明した判断のうち、実際に正しいのが約 70% である。"90% の確信" と表明した判断のうち、実際に正しいのが約 90% である。多くの人、特に専門家は、高い確信度の領域でキャリブレーションが大きくずれている (過信)」── Lichtenstein, Fischhoff & Phillips『Judgment under Uncertainty』(1982) 所収論文より趣旨

キャリブレーションを視覚化するためのグラフは、横軸に自己申告の確信度、縦軸に実際の正確率を取ります。完全にキャリブレーションが取れていれば、点は対角線上に並びます。実証研究が一貫して示してきたのは、専門家でも素人でも、点は対角線より 下 に位置する ── 確信度が実際の正確さを上回る ── ということでした。これが過信の数値化された姿です。

キャリブレーションの理論的重要性は、それが 過信を測定可能にしたこと にあります。漠然とした "気をつけよう" ではなく、具体的な数値として自分のずれを把握できる。次節で扱う Brier score は、その数値化の標準的な道具です。

03Brier score ── 予測の正確さの数値化

確率予測の正確さを単一の数値として捉える指標を、1950 年に米国の気象学者 グレン・ブライアー (1913–1998) が提案しました。今日 Brier score として知られるこの指標は、気象予報の検証から始まり、現在では医療診断、ビジネス予測、政策評価、そして人工知能の評価まで、確率予測のあらゆる領域で使われています。

Brier score の定式は単純です。各予測について、(予測確率 − 実際の結果) の二乗を取り、すべての予測について平均する。結果は 0 (完全な予測) から 1 (最悪の予測) の範囲に収まります。重要な性質は、Brier score は予測の正確さだけでなく、自信の程度も同時に評価する ことです。確信を持って外れた予測は、控えめに外れた予測より大きなペナルティを受ける。

「Brier score の利点は、予測者に "本当の自信" を表明する誘因を与えることである。確信を持ち過ぎれば、外れたときに大きく失点する。控えめに過ぎれば、当たったときに得点が低い。最良のスコアは、予測者がその時点で持つ真の信念を表明したときに得られる」── Glenn W. Brier『Monthly Weather Review』(1950) より趣旨

本回の実践として、Brier score を使った自己訓練の最小単位を提案します。資材審査の判断を下すたびに、(1) 確信度を 5% 刻みで自己申告する、(2) 一定期間後に結果を照合する、(3) Brier score を計算する。これを 30〜50 件のデータで集めると、自分のキャリブレーションの偏りが定量的に見えてきます。多くの場合、専門家ほど高確信度 (90〜100%) の領域での過信が大きい、というパターンが現れます。

04キャリブレーション訓練の実証 ── Good Judgment Project

キャリブレーションを 訓練で改善できる ことを、最も大規模な実証研究で示したのが、第 1 回で触れた フィリップ・テトロック と バーバラ・メラーズ が 2011 年から実施した Good Judgment Project (GJP) です。米国の情報機関 IARPA が主催した予測トーナメントで、彼らのチームは数千人の予測者を集め、地政学的・経済的事象について四年にわたって予測を集めました。

GJP の発見は、本回の主題に直接届きます。第一に、キャリブレーション訓練 (1 時間程度のオンライン教育) を受けた予測者は、受けなかった予測者より明確に正確になる。第二に、確率思考の習慣 を意識化した予測者は、年を追うごとにキャリブレーションが改善し続ける。第三に、最も成功した予測者 ── スーパー予測者 ── は、特別な知識ではなく 特別な習慣 によって他から区別される。

「スーパー予測者の共通点は、知能ではなく習慣だった。彼らは予測を絶対値で語らず、確率で語る。複数のシナリオを並列に考える。情報が更新されたら、自分の予測を素早く更新する。外れたときに、自分の判断プロセスを記録に基づいて振り返る。これらはすべて、訓練可能な行動である」── Philip Tetlock & Dan Gardner『Superforecasting』(2015) より趣旨

これら四つの習慣は、現代の判断研究が辿り着いた 過信を減らす最も実証的な作法 です。資材審査員にとっての含意は実用的です。判断を確率言語で記述し、複数シナリオを書き出し、情報更新を素早く反映し、結果を季節ごとに点検する ── これだけで、Brier score の改善が期待できる。

05Pre-mortem ── 失敗を未来から逆算する

判断の 前 に過信を減らす技法のなかで、最も実用性が高いものが Pre-mortem です。米国の意思決定研究者 ゲイリー・クライン (1944–) が 2007 年に Harvard Business Review に発表した論文「Performing a project premortem」で広く知られるようになりました。

Pre-mortem の手続きは単純です。重要な判断を下す前に、チームに次のように指示します。「いま下そうとしている判断が、1 年後に大失敗だったと仮定してください。何が原因で失敗したか、考えられる原因をリストにしてください」。この単純な視点の転換が、過信に劇的に効きます。

「Pre-mortem は、prospective hindsight ── 未来の後知恵 ── を活用する技法である。私たちの 1989 年の研究では、未来の結果を "起きたこと" として想像することは、可能な失敗の原因を 30% も多く特定させる。判断の前に失敗のシナリオを書き出すことが、過信を減らす最も効率的な介入のひとつである」── Gary Klein『Harvard Business Review』(2007) より趣旨

Pre-mortem の心理学的な仕組みは、第 6 回で扱った後知恵バイアスを 逆方向に 活用するところにあります。後から振り返ると "予測可能だった" と見える、という Fischhoff の発見を、判断の前に意識的に利用する。"もし失敗していたら、何が原因か" を仮想的に問うことで、判断の前提に潜むリスクが前景化されます。

Pre-mortem の最大の利点は、所要時間が 15〜20 分と短く、特別な専門知識を必要としないことです。資材審査の難しい案件、リスクが明確でない案件、チームで判断が分かれる案件 ── これらでの Pre-mortem の導入は、過信への組織的抵抗として機能します。

06Reference Class Forecasting ── 類似事例の統計に係留する

過信を減らすもうひとつの強力な技法が、Reference Class Forecasting (RCF, 参照クラス予測) です。1993 年の論文「Timid choices and bold forecasts」で、ダニエル・カーネマン と ダン・ロヴァロ がこの技法を体系化しました。後に ベント・フリュビュア が大規模公共事業の予測に応用し、コペンハーゲン地下鉄など多くの実証事例を生み出しました。

RCF の手続きは三段階です。第一に、類似する過去のケースの集合 (参照クラス) を特定する。第二に、そのクラスの統計 (平均所要時間、平均コスト、成功率など) を集める。第三に、その統計を出発点として、現在のケースの特殊事情を限定的に調整する。

「人は判断を内側から眺めがちである ── このプロジェクトの特殊性、このチームの能力、この状況の固有の文脈。しかし、本当に正確な予測は、外側から眺めることから始まる ── 同じような状況で、過去に何度この種のことが試みられ、どんな結果になったか。外側からの眺めは、過信に対する最も強力な抑制力である」── Daniel Kahneman & Dan Lovallo『Management Science』(1993) より趣旨

RCF の含意は、本シリーズの第 4 回 (Kelley の共変原理) と直接結びつきます。Kelley が示した "合意性 (他の人も同じ状況で同じ結果になるか)" の情報を、過去の事例として系統的に集めることが、RCF の核心です。資材審査においては、類似の案件・媒体・領域での過去のレビュー結果と発見されたリスクの統計 を保持することが、RCF の組織的な基盤になります。

07Devil's Advocate ── 制度化された反対者

集団的な過信に抗うための最も古い技法のひとつが、Devil's Advocate (悪魔の代弁者) です。歴史的には、ローマ・カトリック教会の列聖手続きで、聖人候補に対して意図的に反論を立てる役職として 16 世紀から制度化されていました。1983 年に正式な役職としては廃止されましたが、その概念は組織意思決定の理論に深く影響を与え続けています。

現代の組織意思決定研究で、Devil's Advocate の効果を最も体系的に示したのが、シャーリー・シュバイガー (Schweiger) と同僚たちの 1980 年代の実験研究です。判断会議で「賛成側」「反対側」「Devil's Advocate (反対の論を立てる役割)」を意図的に配置することで、判断の質が向上することを実証しました。

「集団思考に抗う最も効率的な制度は、反対意見の役割を 制度化する ことである。Devil's Advocate の役割を意図的にメンバーに割り当てることで、反対意見が個人の人格ではなく、役割として扱われる。これによって、反対が表明しやすくなり、集団の判断の質が向上する」── Charles R. Schwenk『Strategic Management Journal』(1988) より趣旨

資材審査チームでの Devil's Advocate の導入は、いくつかの形を取れます。会議のなかで、特定のメンバーに "今日はあなたが Devil's Advocate" と役割を割り当てる。判断の前に、判断対象に対する反論を 10 分間書き出してもらう。重要なのは、反論する人が "本当に反対している" 必要はない こと。役割として反論を組み立てるだけで、集団的な過信への抵抗が機能します。第 7 回で扱った Bohm の保留と、ここで重なります。

0810/10/10 ルール ── 時間スケールを変える

もうひとつ、判断の文脈を変える簡便な技法として、米国のジャーナリスト・著者 スージー・ウェルチ (1959–) が 2009 年の著作『10-10-10』で提案した 10/10/10 ルール があります。これは大きな組織研究の蓄積に基づくものではありませんが、過信を減らす実用的な道具として、実務家のあいだで広く採用されてきました。

手続きは単純です。重要な判断を下す前に、三つの時間スケールで結果を想像する ── 10 分後の自分、10 ヶ月後の自分、10 年後の自分。それぞれの時間スケールで、この判断はどう評価されているか。

「ほとんどの判断は、その瞬間の感情と利害に駆動される。しかし重要な判断は、長い時間軸で評価されるべきものである。10/10/10 ルールは、判断の評価軸を 意識的に時間方向に伸ばす 簡便な道具である。10 分・10 ヶ月・10 年 ── 三つのスケールで同じ判断を眺めると、しばしば異なる視点が現れる」── Suzy Welch『10-10-10』(2009) より趣旨

10/10/10 の本回の文脈での価値は、それが 過信の時間的限定性 を明らかにすることです。過信は短期視点に強く結びつく傾向を持ちます。"いま自分は正しい" の感覚は、10 ヶ月後や 10 年後の視点から見ると、別の意味を帯びる可能性が高い。資材審査の判断において、特に長期的な責任が関わる判断 (大規模キャンペーン、新薬の最初の資材、規制のグレーゾーンの判断) では、10/10/10 の視点転換が過信への有効な抑制になります。

09製薬の現場で ── 4 つの実践場面

前 8 節までの七つの技法 ── キャリブレーション訓練、Brier score、四つの GJP 習慣、Pre-mortem、Reference Class Forecasting、Devil's Advocate、10/10/10 ルール ── を、資材審査員の現場の場面に降ろします。すべてを毎日使う必要はありません。場面に応じて、適切な技法を選ぶ。これが本節の主題です。

場面 1 と場面 3 は集団の判断、場面 2 と場面 4 は個人と集団の境界での判断です。組織として七つの技法をすべて導入する必要はありません。自分のチームで最も有用な 2〜3 個を選び、それを習慣化する ことが、現実的な実装の出発点です。

10個人と小チームの 4 つの作法

本回の最終的な実践として、七つの技法から最も実装しやすい四つの作法を取り出します。これらは、特別な制度的支援なしに、個人と小チームの単位で今日から開始できる作法です。

四つの作法に共通する原理は、過信に直接抗うのではなく、判断のプロセスに数値・書き出し・第三者視点・時間軸の変化を組み込む ことです。これらは無意識の防衛機制 (第 3 回) に直接対抗するのではなく、意識的に判断の構造を変えることで、無意識の作動条件を変える作法です。Vaillant の言う成熟した防衛 (第 3 回) への移行と、ここで重なります。

過信を減らす七つの実証された技法を、工具箱として整理してきました。Lichtenstein らのキャリブレーション、Brier score、Mellers らの Good Judgment Project、Gary Klein の Pre-mortem、Kahneman の Reference Class Forecasting、Devil's Advocate、Suzy Welch の 10/10/10 ── 七つの視座が、別々の言葉で同じ場所を指してきました。過信は直接攻撃するものではなく、判断のプロセスに数値・書き出し・第三者視点・時間軸を組み込むことで間接的に減らすものである。

残る二回は、本シリーズの内的・統合的な側面に入ります。次回 (第 9 回) は、本シリーズで初めて深層心理学に戻ります ── 理想自己と現実自己のあいだ ── ユング的自己像のずれが生む過信。ユングのペルソナと影、ロジャーズの自己一致、ウィニコットの偽の自己と本当の自己 ── 三つの視座を編んで、自己像のずれがどう過信を支えるかを描き出します。本シリーズの心理学的な核に戻る回です。