Kahneman–Klein、直感を信じてよい2条件── 直感を信じてよいのは規則性のある領域で手応えを受けて学んだときに限られ、確信の強さはその目安にならない。

生成AIが作った下書きを読み、理由は言えないが「ここは違う」と感じる場面は、AIを仕事で使う人なら誰にでもある。説明できない直感を、どこまで信じていいのか。答えは、規則性のある領域で手応えを受けて学んだ範囲までであり、確信の強さはその目安にならない。

01直感を信じてよい範囲は、確信の強さではなく環境と学習で決まる

リードの答えは、二人の心理学者の共同の結論に拠っている。2009年、直感の誤りを研究してきたダニエル・カーネマンと、熟練者の直感の確かさを研究してきたゲイリー・クラインが、一本の論文を共同で書いた。長く見解が分かれていた二人が、どこまで一致できるかを確かめた論文である。そこで二人は、直感の質を二つの条件で評価すべきだと結論した。

同じ論文で二人は、主観的な確信は判断の正確さの信頼できる目安にならないと述べた。強く「こうだ」と感じることと、それが当たっていることは別の事柄である。

この結論は、AIの出力を読む仕事にそのまま当てはまる。生成AIの下書きに違和感を覚えたときも、反対に「たぶん正しい」と安心したときも、その感じの強さではなく、自分がその領域で手応えを受けて学んできたかどうかで扱いを決める。違和感は確かめる理由になり、安心感は確かめを省く理由にならない。

以下、説明できない直感とは何か、それがAIの出力とぶつかる場所はどこか、確信がなぜ当てにならないのか、何がAIへの依存を強めるのか、そして何がまだ分かっていないのかを、順に確かめる。

02言葉にできない知識は実在し、体の反応は意識より先に危険を示す

前節で、直感を条件つきで扱うと述べた。その前に、説明できない直感がそもそも何かを知っているのかを確かめておく。

哲学者のマイケル・ポランニーは『暗黙知の次元』で、私たちは語れる以上のことを知っている、という事実から知識を考え直した。人の顔を見分けられても、どう見分けたかを言葉にできないことがある。知っていることと、説明できることは一致しない。

神経科学からも証拠がある。1997年、アントワーヌ・ベシャラとアントニオ・ダマシオらは、得をする山と損をする山が混じったカードの賭けの課題で、健常な参加者の反応を調べた。参加者は、どの戦略が得かを自覚する前に有利な選択を始め、損をする山から引く前には皮膚の電気反応を示した。

この順番が大事である。体の反応、有利な選択、戦略の自覚の順に現れた。説明できるようになる前に、判断はすでに動いていた。説明できない直感は、説明できないからといって中身がないわけではない。

ただし、この実験が示しているのは、学ぶ機会のある課題で直感が育ったということでもある。賭けの課題では、カードを引くたびに損得が返ってくる。この条件は節04で改めて扱う。

03直感とAIの出力がぶつかるのは、AIが提案し人が採否を審査する工程である

前節で、説明できない直感が実在すると確かめた。その直感がAIの出力と向き合う場所は、AIが提案を出し、人がそれを採るか退けるかを決める工程である。

この工程は、医療の分野で研究が重ねられてきた。ゴダードらが2012年に発表した系統的レビューは、13,821件の論文から74件を選び、臨床の意思決定支援で自動化への過度の依存がどれほど起き、何がそれを強め、何が弱めるかを調べた。

表の左の列の条件がそろう場面では、自分の違和感が当たっていたかを後で知ることができる。右の列の場面では、AIの出力が確かめられないまま採用され、違和感が当たっていたかどうかも分からないまま終わる。

AIが下書きを出し、人が読んで採否を決める仕事は、医療に限らず、文書の審査、翻訳、要約の確認などに広がっている。そのたびに、人の直感とAIの出力のどちらに従うかが、一回ずつの判断になる。ただし、レビューが扱ったのは医療の意思決定支援であり、ほかの仕事で同じ頻度で依存が起きるかどうかは、このレビューからは言えない。言えるのは、同じ仕組みの工程があるということまでである。

04確信が正確さの目安にならないのは、学ぶ機会のない領域でも確信は生まれるからだ

前節で、直感に従うかどうかを毎回決めると述べた。そのとき頼りたくなるのは自分の確信の強さだが、カーネマンとクラインはそれを退けた。理由は、直感が育つ仕組みにある。

二人によれば、直感の技能は、十分に予測可能な環境で、その規則性を学ぶ機会が長く与えられたときに育つ。クラインが研究してきた消防の指揮官の判断は、この条件を満たす例である。同じ型の状況が繰り返し現れ、判断の結果がはっきり返ってくる。

問題は、条件を欠く領域でも確信は同じように生まれることである。確信は、頭に浮かんだ答えがどれだけすんなり筋の通った話になるかに左右され、その話が現実の規則性に支えられているかどうかを問わない。私はこの論文をそう読んでいる。

したがって、確信の強さだけでは、技能と思い込みを区別できない。区別するには、確信の外側を見る必要がある。その領域は規則的か。自分はそこで、当否の返ってくる経験を重ねてきたか。

AIの出力を読む場面に当てると、二つの確信がありうる。「この下書きはおかしい」という確信と、「この下書きで大丈夫だ」という確信である。どちらも、それだけでは当否を示さない。

05AIへの過度の依存は、信頼・負荷・時間の不足で強まり、責任の明示で弱まる

前節で確信が当てにならない仕組みを見た。では、AIの出力を前にしたとき、人の判断はどんな条件で出力に押し切られ、何によって持ち直すのか。ゴダードらのレビューは、それを要因として並べている。

依存を強める側には、自動化への信頼と自分の判断への自信、作業の負荷、課題の複雑さ、時間の制約が挙がった。忙しく、難しく、急いでいるとき、人はAIの出力に従いやすい。

弱める側には、訓練、利用者の責任を強調すること、画面上で助言を置く位置、出力に確信度を付けること、推奨ではなく情報として示すことが挙がった。これらの多くは、人の心がけではなく、仕事の組み方と画面の設計で変えられる。

ここで注意がいる。パラスラマンとマンゼイが2010年にまとめた論考は、自動化への偏りが初心者にも熟練者にも起き、訓練や指示では防げないと述べている。訓練は依存を弱める要因に挙がってはいるが、それだけで足りるわけではない。

06違和感は確かめる理由になり、安心感は確かめを省く理由にならない

前節で、依存を強める条件と弱める条件を並べた。そこから、直感を実務でどう扱うかを変える事柄を三つ取り出す。

一つ目は、確信の強さが直感の正しさを示さないことである。カーネマンとクラインは確信が正確さの目安にならないと結論し、節04で見たとおり、確信はその領域に規則性があるかどうかと関係なく生まれる。強い確信があっても、確かめを省かない。

二つ目は、説明できない違和感が意識より先に来ることがある点である。ベシャラらの実験では、体の反応が戦略の自覚より先に現れた。理由が言えないことは、違和感を捨てる理由にならない。理由が言えなくても、どの箇所で違和感を覚えたかを記録し、そこを一次資料に当たって確かめる。

三つ目は、自動化への依存が経験者にも起きることである。パラスラマンとマンゼイの報告のとおりである。制度の側でも、EU AI法14条4項(b)は、高リスクAIを監督する人が、AIの出力に自動的に、あるいは過度に頼る傾向を自覚していることを求めている。経験年数は、確かめを免除する理由にならない。

三つを合わせると、違和感の扱い方は循環の形になる。違和感を箇所と日時とともに記録し、根拠で確かめ、当たったか外れたかを自分に返し、次の判断に使う。こうすれば、違和感の一つ一つが、節04で見た学ぶ機会に変わる。

07AIの出力を読む経験が直感を育てるかは、手応えが返るかどうかにかかっている

前節で違和感を記録すると述べた。その記録が将来の直感をどう育てうるか、そして何が確かめられていないかを述べる。

カーネマンとクラインの条件に当てはめると、AIの下書きを読む経験が直感の技能になるには、二つが要る。AIの誤り方にある程度の規則性があること、そして自分の違和感が当たったか外れたかが後で返ってくることである。

前者については、AIのモデルが更新されるたびに誤り方も変わりうる。一つの型の誤りが長く続くかどうかは、私には分からない。後者については、下書きを直して使い、どこを直したかを残さない運用では、手応えは返らない。

そうした手応えがAIを使う現場で実際に返っているか、返ったときに直感が育つかは、まだ研究で確かめられていない。ここまでの話は、二人の条件からの推論である。

確かめられていないからこそ、記録には意味がある。違和感とその当否を残しておけば、自分の直感がどの領域で当たり、どの領域で外れるかを、後から自分で数えられる。

説明できない直感を信じてよいのは、規則性のある領域で手応えを受けて学んだ範囲までである。AIの出力に向き合うとき、違和感は確かめる理由として記録し、安心感は確かめを省く理由にしない。

直感を信じるかどうかは、一度決めれば済むものではない。当たりと外れを数え続ければ、自分の直感の届く範囲を後から確かめられる。