私の机には、いつも二種類の後悔が待っている。見逃した後悔と、止めすぎた後悔だ。どちらもゼロにはできない。ここでは、その「できなさ」を正面から見つめてみたい。
01二種類の後悔
金曜の夕方、机の上に二枚の付箋が並んでいる。一枚は先週、私が差し戻した資材のこと。もう一度読み直したら、あの指摘は行き過ぎだった。作成者は正しく書いていたのに、私が慎重すぎて止めてしまった。もう一枚は、通した資材の効能の一文。承認のはんこを押した後で、なぜか小さく引っかかった。あの言い回し、本当に大丈夫だっただろうか。
片方は「止めすぎ」。片方は「見逃しかけ」。この二つは、いつも背中合わせに並ぶ。片方を追いかけると、もう片方がそっと後ろで待ち構える。長く続けても、この並びは消えない。
ここで、私が下手だから二つの後悔が生まれる、と考えるのは間違いだ。腕を上げれば片方が消える、というものではない。審査という仕事には、そもそも二つの別々の力が要る。ひとつは感度(=本当に問題のある資材を「問題あり」と正しく見つけられる割合。見逃さない力)。もうひとつは特異度(=問題のない資材を「問題なし」と正しく通せる割合。行き過ぎて止めない力)。名前を付けてみると、二枚の付箋がすっと整理される。
左の付箋は特異度の失敗だ。問題のないものを止めてしまった。右の付箋は感度の失敗になりかけた。問題があるかもしれないものを、通しかけた。同じ「後悔」でも、住んでいる場所が違う。この二つを一緒くたに「今日はダメだった」とまとめてしまうと、次にどこを直せばいいか分からなくなる。
だから私は、後悔を二つに分けて眺めることにしている。見逃さない力が足りなかったのか、止めすぎない力が足りなかったのか。分けて見れば、責める相手は自分の性格ではなく、目盛りの置き場所だと分かってくる。
02厳しくすれば、通せなくなる
新人の頃、私は単純に信じていた。厳しく見れば良い審査だ、と。疑わしいものは全部止める。実際、そうすると見逃しは減った。危ないものを通してしまう不安は、確かに小さくなった。
ところが、机の脇には差し戻しの山ができた。作成者が資料を抱えてやって来て、「またですか」と肩を落とす。よく読むと、止める必要のなかったものまで混じっている。見逃さない力を上げた分、止めすぎない力が削れていた。片方を強く握ると、もう片方が指のあいだからこぼれる。
逆の月もある。作成者を待たせたくなくて、通しやすく構えた。現場は静かになった。差し戻しの山も消えた。なのに夜、布団の中で目が冴える。あの一文、本当に見過ごしてよかったのか。止めすぎない力を上げたら、今度は見逃さない力が心細くなっていた。
この感覚には、ちゃんとした仕組みがある。審査には、どこで「問題あり」と「問題なし」を分けるかという判定の線(=ここを越えたら止める、という基準の置き場所。カットオフとも呼ぶ)がある。この線を厳しい側へ動かすと、危ないものはよく捕まえられる。そのかわり、無害なものまで網にかかる。線を緩い側へ動かすと、無害なものは楽に通せる。そのかわり、危ないものが網をすり抜ける。
| 判定の線をどう置くか | 見逃さない力(感度) | 止めすぎない力(特異度) |
|---|---|---|
| 厳しくする(疑わしきは止める) | 上がる(見逃しは減る) | 下がる(行き過ぎた差し戻しが増える) |
| 緩める(迷ったら通す) | 下がる(見逃しが増える) | 上がる(無用な差し戻しは減る) |
これは、私の腕がまだ足りないという話ではない。ひとつのつまみを回すと、片方が上がって片方が下がる。両方を同時に満点にはできない。この兼ね合い(=一方を良くすると他方が悪くなる、避けられない交換のこと。トレードオフと呼ぶ)を、まず正面から認めておきたい。厳しさはただではない。緩さもただではない。どちらにも、裏で払っている代償がある。
新人の私に足りなかったのは、腕ではなく、この一枚の表だった。厳しくすれば良くなる、という一本道を信じていた。本当は、線をどこに置くかで、二つの後悔の大きさが入れ替わるだけだったのだ。
03雑音の中から、本物の合図を聞き分ける
ある朝、審査の机で私は同じ資材を三度読み返していた。ある一文が、ひっかかる。誇大な言い切りに見えるようでもあり、注記を添えれば許される範囲にも見える。白か黒かを決めきれない。その居心地の悪さが、その日ずっと残った。
後になって、これに名前がついていることを知った。信号検出理論(=雑音の中から本物の合図を見分ける仕組みを扱う考え方)。もとは戦後、レーダーで敵機と雑音を見分ける研究から生まれた。暗い画面に小さな光の点が現れる。レーダー手はそれを見て迷う。あれは近づいてくる敵機なのか、それとも風や波が作った、意味のないちらつき(=ノイズ、雑音)なのか。
この点が厄介なのは、敵機のときも、ただの雑音のときも、画面上では似た明るさに見えてしまうところだ。敵機がいるときの明るさのばらつき(=明るさの出方の幅)と、いないときのばらつきが、少しだけ重なり合う。その重なった部分に入った点は、どちらとも決めきれない。心理学者のグリーンとスウェッツ(=信号検出理論を整理した研究者)は、この「重なり」を指摘したうえで、判断の基準(=どこで線を引くか)を感度と切り離して扱えるようにした。難しいのは目の良さではない。重なりがある以上、誰が見ても迷う帯が残る、という事実のほうだ。
資材審査も、これと同じ形をしていた。私が向き合っているのは、白黒はっきりした「正解」ではない。問題ありの資材と、問題なしの資材は、はっきり二つの山に分かれてはくれない。多くは中央で少しだけ重なり合う、灰色の帯の中にある。そこに気づいたとき、長く抱えていた自分への責めが、すこしほどけた。迷うのは、私の力が足りないからではなかった。重なりのある帯を見ているのだから、迷って当たり前だったのだ。
判断がずれる形は、いつも二通りある。本当は問題があるのに見逃してしまう取りこぼしと、本当は問題ないのに引っかけてしまう空振り。レーダー手の言葉を借りれば、片方は敵機の見落とし、もう片方は雑音を敵機と呼ぶ誤報だ。灰色の帯があるかぎり、この二つの間違いを両方ともゼロにはできない。片方を減らそうと身構えるほど、もう片方が増える。
| 場面 | 本物の合図 | ただの雑音 |
|---|---|---|
| レーダー手 | 近づく敵機 | 風や波のちらつき |
| 資材審査 | 直すべき本当の逸脱 | 形は似ているが問題のない表現 |
だから私は、資材を前にして「これは白か黒か」と自分に問うのをやめた。かわりに、この点は分布のどのあたりにいるのか、と考えるようにした。中央の帯にいる点ほど、ひとりで決めず、根拠を並べ、同僚の目を借りる。迷いを消そうとするのではなく、迷いの正体を見きわめる。それが、雑音の中から本物の合図を聞き分ける、最初の一歩だった。
04線をどこに置くか、という一本の話
あるとき、経験の長い先輩に率直に聞いてみた。「見逃しも空振りも、両方ゼロにする方法はないんですか」。先輩は少し笑って、手元の紙に一本の曲がった線を描いた。左下から立ち上がり、上へ弧を描いてから右へ流れていく線だ。「私たちがやっているのは、この線の上を点が動くだけの話だよ」。
その一本の線には名前がある。ROC曲線(=取りこぼしの少なさと、空振りの少なさの兼ね合いを、一本の線で表したもの)。片方の軸は感度(=本当に問題のある資材を、ちゃんと拾えている割合)。もう片方は特異度(=問題のない資材を、余計に引っかけずに通せている割合)。この二つは、残念ながら仲が悪い。
取りこぼしを減らそうと判定を厳しくすれば、問題のない資材まで引っかかる。空振りを嫌って判定をゆるめれば、今度は本当の逸脱がすり抜ける。感度を上げれば特異度が下がり、特異度を上げれば感度が下がる。曲線の上のどこに自分を置いても、両方が同時に満点になる場所は、この線の外にあって、届かない。
ここで私は、長い勘違いをしていたことに気づいた。審査をめぐって同僚と意見が割れるとき、私はどこかで「どちらが有能か」を競っている気になっていた。でも先輩の線を見て分かった。私たちが本当に争っていたのは能力の高低ではない。同じ一本の線の上で、判定の基準をどこに置くか、という位置の違いだったのだ。厳しめに置く人と、ゆるめに置く人。どちらも線の上にいて、ただ立ち位置が違う。
基準を厳しく置く
本当の逸脱は取りこぼしにくい。かわりに、問題のない資材まで引っかけて、差し戻しが増える。
基準をゆるく置く
余計な差し戻しは減る。その代償に、本当に直すべきものが、音もなくすり抜けていく。
線の外に出たい
両方を満点にしたい願い。気持ちは分かるが、この一点だけは原理として存在しない。
では、線の上のどこに立てばいいのか。その答えは、資材の中には書いていない。患者に届く情報がゆがんだときの重さと、まっとうな情報発信まで止めすぎてしまう損失。この二つを天秤にかけて、初めて決まる。取りこぼしの代償が大きい場面では、空振りを覚悟して基準を厳しい側に寄せる。逆の場面では、少しゆるめる。線を引く場所は、能力ではなく、私たちが何をより恐れるかで決まっていた。
この一本の線を知ってから、会議での言い争いの色が変わった。「あなたは甘い」「あなたは厳しすぎる」という応酬は、たいてい線の位置の話にすぎない。だったら問うべきは、相手の力量ではない。この資材で、私たちはどちらの間違いをより恐れるべきか。そこがそろえば、立ち位置は自然と決まる。両方満点の点を探して消耗するより、線のどこに立つかを一緒に決めるほうが、ずっと前に進んだ。
05見逃しと、行き過ぎ、どちらが重いか
ある朝、机の上に二枚の資材(=医師や患者に配る、薬の説明の紙)が並んでいた。一枚は、承認された効き目より少しだけ広く書いてある。もう一枚は、表現がやや強いだけで、中身は正しい。私はどちらにも赤いふせんを貼れる。でも、貼る意味は同じではない。前者を見逃せば、間違った効き目の話が現場に流れる。後者を止めても、作成者に「もう一度直してください」と頼むだけだ。この非対称、つまり重さのちがいが、私の仕事の芯にある。
審査の判断は、二種類の外し方をする。ひとつは見逃し(=本当は問題なのに、問題なしと通してしまうこと。統計の言葉で偽陰性)。もうひとつは行き過ぎた指摘(=本当は問題ないのに、問題ありと止めてしまうこと。偽陽性)。この二つはシーソーの関係にある。片方を減らそうと線を動かすと、もう片方が増える。どちらも同時にゼロにはできない。だから審査者は、どこに線を置くかを、いつも選んでいる。
では、線を真ん中に置けばいいのか。私はそうは思わない。真ん中というのは、二つの外し方の害が同じ重さのときに正しい置き方だ。ここでは重さがちがう。誤った効き目の一文が医療者や患者に届いてしまう害と、作成者に一度手戻りをお願いする害。前者は取り返しがつきにくく、後者は数時間で直る。害が同じでないなら、線を真ん中に置くのは、むしろ不公平だ。
| 外し方 | 何が起きるか | 戻せるか |
|---|---|---|
| 見逃し(偽陰性) | 誤った説明が現場に出て、医師や患者の判断に混ざる | 回収は難しい。届いた後では戻しにくい |
| 行き過ぎた指摘(偽陽性) | 問題ない資材が一度差し戻される | 戻せる。作成者が直せば済む |
だから私は、線をやや見逃さない側に置く。中立ではなく、少しだけ傾ける。健康診断の考え方に近い。検査は、見落とし(病気を見逃す)よりも、念のため引っかける方に寄せてある。あとで詳しく調べれば済むからだ。取り返しのつく側で多めに拾い、取り返しのつきにくい側を薄くする。この傾け方には理由がある。二つの外し方が同じ重さでない以上、同じ数だけ許してはいけない。
ただ、これは「疑わしきは全部止める」という意味ではない。傾けるのは、あくまでややだ。次の節で書くように、傾けすぎには、別の代償がある。
06止めすぎる人の、静かな代償
傾けすぎた先輩を、一人知っている。その人はほとんど何でも差し戻した。表現が強い、言い切りすぎ、この一行が気になる。理由はいつも正しかった。資材は確かに安全になった。半年のあいだ、その部署から危ない一枚が出たことは一度もない。数字の上では、模範のような審査者だった。
でも半年後、作成者たちは彼の指摘を、右から左に聞き流すようになっていた。「また何か言われる」「どうせ全部直せと言うから、最初から気にしない」。彼の赤ふせんは、注意ではなく背景の色になっていた。そしてある日、本当に大事な一件、効き目の書き方が明らかにおかしい一枚にも、彼はいつもの調子でふせんを貼った。作成者はいつもの調子で、軽く聞き流した。大事な指摘が、彼自身の細かい指摘の山に埋もれてしまったのだ。
狼が来たと叫びすぎた少年の話を思い出す。嘘をついたわけではない。ただ、叫びが多すぎた。だから、本当に狼が来た日、誰も動かなかった。行き過ぎた指摘は、それ自体は無害に見える。止めただけ、直しただけ。でも積み重なると、信頼という目に見えない資産をじわじわ削る。一つひとつの指摘が、次の指摘の重みを下げていく。
正しくても、多すぎれば効かない
個々の指摘が正しいことと、指摘全体が届くことは別。数が増えるほど、一つあたりの重みは下がる。
信頼は、後から効いてくる
作成者が「この人の指摘は本当に大事なときだけ」と思えるかどうか。それが、いざというときに動いてもらえるかを決める。
これは、以前に書いた「一人の判定を二人で補う」、つまり一人の目の偏りを、もう一人が補うという話とつながる。傾けすぎる人ほど、自分の傾きに気づきにくい。だからこそ、二人目の目がいる。心の視座で扱った正義病(=正しさを盾に、相手を追いつめすぎてしまう状態)とも地続きだ。止めることは正しさに見える。でも、正しさの量が多すぎると、正しさそのものが軽くなる。
見逃さない側に線を傾ける。それは変わらない。ただし、傾けた分だけ、私は自分の赤ふせんを数える。今日の指摘は、本当に必要な数だったか。埋もれさせていい一件など、一つもない。だから、大事な一件が埋もれないように、それ以外を欲張って止めない。見逃さない力と、止めすぎない力は、同じ一本の線の、両端にある。
07少ない中から探す、という前提
私の机には、毎日たくさんの資材が積まれる。医薬品の説明資料や広告の案だ。私はそれを一枚ずつ見て、行きすぎた表現や、根拠のない言い切りがないかを確かめる。ここで正直に書いておきたいことがある。その大半は、そもそも問題がない。作り手も規則を知っていて、気をつけて書いているからだ。
この「もともと問題が少ない」という事実は、私の仕事の見え方をじわじわ変える。数字で考えてみる。仮に百枚のうち、本当に直すべきものが五枚だとする。残りの九十五枚は、素直に通していい資材だ。この五対九十五という割合を、基準率(=母集団に問題がどれくらいの割合であるか、という「もとの比率」)と呼ぶ。
基準率が低いと、やっかいなことが起きる。私がどれだけ注意深く見ても、判定には必ず取りこぼしと勇み足が混じる。「これは問題あり」と拾い上げたもののうち、あとで見直すと実は問題なかった、という空振りが、思ったより多く出るのだ。これは私の腕が悪いからではない。もとの山に問題が少ないほど、「問題あり」の網には無実のものが多く入り込む。もとの山の性質が、そうさせている。
| 私の判定 | 本当に問題ありの資材 | 本当は問題ない資材 |
|---|---|---|
| 「問題あり」と拾う | 正しく拾えた(少数) | 空振り(意外と多い) |
| 「問題なし」と通す | 見逃し(いちばん怖い) | 正しく通せた(大多数) |
ここには、確率を後ろから考え直す道具が効いている。ベイズの考え方(=新しい手がかりを見たあと、もとの比率をふまえて「本当らしさ」を計算し直すやり方)だ。むずかしく聞こえるが、中身は素朴だ。「あやしい」と感じた一枚が本当に問題である見込みは、私の勘の鋭さだけでは決まらない。もとの山にどれだけ問題が混じっているかに、強く引きずられる。問題が少ない山では、同じ「あやしい」という感触でも、外れの側に転びやすい。
だから私は、線の引き方を一人で抱え込まない。あやしいと思ったものに、もう一人の目を通してもらう。二人目が見れば、私の空振りの多くはそこで取り除かれる。逆に、私が通しかけたものを二人目が拾い直すこともある。網を二重にすることは、遠回りではない。基準率が低い仕事では、二人目の目こそが空振りと見逃しの両方を減らす。
最後に、忘れがちな前提を言葉にしておく。私は、すべてを一人で完璧に見分けることはできない。それは諦めではない。どこに線を引き、誰とそれを分かち合うかを、正直に決めることだ。完璧を手放すことと、仕事を投げることは違う。少ない中から探すという前提を認めたうえで、私はもう一人と一緒に、今日も一枚ずつ見ていく。
- 見逃さない力(感度)と止めすぎない力(特異度)は、同じ一本の線の両端にある。どちらかを上げれば、もう片方は下がる。両方満点の点は線の外にあって、届かない。
- 線をどこに置くかは、能力の高い低いではなく、どちらの間違いをより恐れるかで決まる。取り返しのつきにくい見逃しを避けるため、線はやや見逃さない側へ。ただし傾けすぎない。
- もとの山に問題が少ない仕事では、正しく拾ったつもりでも空振りが混じりやすい。だから一人で抱え込まず、二人目の目で網を二重にする。
- Green, D.M. & Swets, J.A. Signal Detection Theory and Psychophysics. Wiley, 1966.(信号検出理論の古典。雑音の中から合図を見分ける枠組みを最初に体系化した本)
- Macmillan, N.A. & Creelman, C.D. Detection Theory: A User's Guide. Lawrence Erlbaum, 2005.(感度と判定の線を分けて考える実務的な入門書)
- Swets, J.A. Signal Detection Theory and ROC Analysis in Psychology and Diagnostics. Lawrence Erlbaum, 1996.(ROC曲線を診断の場に応用した論集)
- Gigerenzer, G. Calculated Risks(邦訳:数字に強くなる). Simon & Schuster, 2002.(基準率とベイズの考え方を日常語でほどいた本)
- Kahneman, D. Thinking, Fast and Slow(邦訳:ファスト&スロー). Farrar, Straus and Giroux, 2011.(人がなぜ確率を読み違えるかを扱う)
- Reason, J. Human Error(邦訳:ヒューマンエラー). Cambridge University Press, 1990.(人は人である以上ミスを避けられない、という前提を組織の側から論じた古典)
- Hastie, T., Tibshirani, R. & Friedman, J. The Elements of Statistical Learning. Springer, 2009.(ROCや誤りの兼ね合いを統計学習の側から整理した教科書)
- Pepe, M.S. The Statistical Evaluation of Medical Tests for Classification and Prediction. Oxford University Press, 2003.(医療検査の感度・特異度評価の標準的な参考書)
- Wickens, T.D. Elementary Signal Detection Theory. Oxford University Press, 2002.(信号検出理論を最小限の数式で説く入門)
- 西内啓. 統計学が最強の学問である. ダイヤモンド社, 2013.(感度・特異度・基準率を日本語の日常例で説明した一般書)