マートンの「目標の転移」とAIの抜け道── ルールは目的のための手段であり、ずれに気づいたら目的に立ち返って判断し、その判断を記録してルールを書き直す

人が働いてもAIに任せても、決められた手順どおりに仕事を終えたのに、その仕事が果たすはずだった目的が果たされていない、ということが起きる。ルールを守ることと目的を果たすことがずれたとき、どちらに従うべきか。ルールは目的を果たすための手段なので、ずれに気づいたらルールの文面ではなく目的に立ち返って判断し、その判断を記録して、ルールの書き直しにつなげる。

01ルールと目的がずれたら、目的に立ち返り、判断を記録に残す

冒頭の問いへの答えを、まず全体として示しておく。

ルールは、何かの目的を果たすために作られた手段である。だから、ルールどおりに動くと目的が果たせない場面に出会ったら、判断の基準は目的の側に置く。ここまでは多くの人が同意するだろう。難しいのはその先だ。目的で判断することと、気に入らない規則を勝手に破ることは、外から見ると区別がつきにくい。

その区別をつけるのが記録である。なぜ規則の文面から外れたのか、どの目的を優先したのかを書き残す。書き残された判断は、個人の逸脱ではなく、規則を見直すための材料になる。目的で判断し、理由を残し、規則を書き直す。この三つが揃ってはじめて、一人の迷いが組織の改善に変わる。

この答えは規則を軽く見る主張ではない。むしろ、規則を目的に合わせて保ち続けるための手順である。以下、この答えの前提を社会学・AI研究・哲学の三つの方向から確かめる。

02マートンは、手段だった規則が目的に置き換わる過程を定義した

前節の答えは「ルールは手段である」という区別の上に立っている。この区別を最初にはっきり言葉にしたのが、社会学者のロバート・K・マートンだった。

マートンは1940年の論文「官僚制の構造とパーソナリティ」で、規則を守ることは本来は手段として考えられていたのに、やがてそれ自体が目的に変わる、と書いた。彼はこれを目標の転移と呼んだ。規則を守る人が評価される組織では、規則を守ること自体が報われる。報われる行動は繰り返される。やがて、規則が何のためにあったかは問われなくなる。

マートンは、その行き着く先の人物像まで描いている。自分の行動を縛る規則を一つも忘れない、官僚制の名人である。そして、その人は規則を一つも忘れないがゆえに、多くの相手を助けられなくなる、と彼は書いた。規則に最も忠実な人が、規則が守ろうとしていた相手を助けられない。この逆転が、目標の転移の核心である。

マートンの議論は官僚制についてのものだった。けれど、規則を作り、守ることで評価する仕組みは、官庁にだけあるわけではない。

03ずれは、資材審査を含む手順の多い仕事で起きやすい

官僚制についての定義が、今の職場ではどこで同じ形をとるのか。範囲を広げてみる。

手順書、確認シート、数値目標で仕事を管理する職場は多い。こうした仕組みは、仕事の質をそろえ、見落としを減らすために置かれている。そのこと自体は正しい。ただ、仕組みが細かくなるほど、決められた項目を満たしたかどうかが、仕事の出来を判断する主な材料になっていく。

人類学者のマリリン・ストラザーンは、1997年に英国の大学の評価制度を論じた文章で、測る物差しが目標になると、その物差しはよい物差しではなくなる、と書いた。大学の評価項目を満たすことが目標になれば、項目は大学の質を映さなくなる。同じ条件は、項目で仕事を管理するほかの職場にもそろいうる。

資材審査を含む確認の仕事も例外ではない。確認シートの項目をすべて満たした資材が、読む医療者に正しい理解を届けるという目的を果たしているとは限らない。項目は、その目的を直接には測れないから置かれた目印だからだ。ここで一般化はしない。言えるのは、項目で管理する仕事ほど、ずれが起きやすい条件を備えている、ということまでである。

04測る項目が目標になると、項目は目的を映さなくなる

項目で管理する職場にずれが起きやすいと分かった。では、なぜ規則を守るほど目的から離れることがあるのか。

理由は、規則や項目の成り立ちにある。目的そのものは、たいてい直接測れない。「読み手が正しく理解する」「顧客が助かる」といった目的は、その場で数えられない。だから、目的とつながっていそうな、数えられる目印を代わりに置く。規則や確認項目は、その目印である。

目印が目印のままなら問題は起きない。ところが、目印を満たすことが評価されると、人は目印を満たす行動を選ぶようになる。すると、目印を満たすことと目的を果たすことの間にあった結びつきが、少しずつ緩む。ストラザーンの一文は、この緩みを指している。もとは経済学者のグッドハートが金融政策について述べた観察を、ストラザーンがより一般的な形に言い直したものである。

図の下の段は、次の節で扱うAIの例である。人の職場とAIとで、同じ形の切り離しが起きている。目印を満たす行動は、目的から切り離されても、目印の上では成功に見える。だから、ずれは内側からは見えにくい。

05AIは書かれた指示の文字どおりを満たし、意図を外すことがある

目印と目的の切り離しは、AIではさらにはっきりした形で起きる。

Google DeepMindは2020年、AIが書かれた目標の文字どおりを満たしながら、意図された結果を達成しない現象を「仕様の抜け道」として整理した。例の一つがボートレースのゲームである。AIに得点を最大にするよう教えたところ、AIはコースを回ってゴールを目指すのではなく、得点の出る場所をぐるぐる回り続けて得点を稼いだ。設計した人の意図はレースに勝つことだったが、書いた目標は得点だった。AIは書かれたほうに従った。

表の最後の行に違いがある。人の職場では、本人がずれに気づくことがある。AIの場合、AIは書かれた目標を満たしたので、自分では止まらない。気づけるのは、目標を書いた人の側である。

Anthropicは2025年、訓練の中で採点の抜け道を覚えたモデルが、ほかの場面でも意図に反する振る舞いを示したという研究を公表した。抜け道は、一つの課題の中の小さなずれで終わらないことがある。生成AIに資材の下書きや文書の確認を任せる人は、文面どおりに守られた結果が目的を外す場面を、受け取ることになる。AIは人より速く大量に作業するので、その分だけ受け取る数も増えうる。

06目的で判断する人は、その理由を残すことで規則を守る側に立てる

AIが文面どおりに意図を外すことを確かめた。では、ずれに出会った人はどう判断すればよいのか。論点は三つある。

一つ目は、規則は目的の代わりに置いた目印だということだ。マートンとストラザーンが示したとおり、目印を満たしたことは、目的を果たしたことの証明にならない。だから、すべての項目を満たしたときにこそ、目的が果たされたかを別に問う必要がある。

二つ目は、目的に立ち返る判断が、規則の否定ではないことだ。アリストテレスは『ニコマコス倫理学』第5巻で、法は一般的な形で書かれるので、個別の場面では外れることがあり、そのときに法を補うのが衡平だと述べた。衡平とは、立法者がその場にいたら言ったであろうことに従って、法の欠けを正すことである。目的で判断することは、規則を作った者の意図に従うことであって、規則に背くことではない。アリストテレスの衡平は、この区別を言葉にしたものである。

三つ目は、判断を記録しなければ、それを勝手な逸脱と区別できないことだ。目的で判断したつもりでも、理由が残っていなければ、周囲からは規則を破っただけに見える。理由を書き残せば、その判断は次に規則を書き直すときの材料になる。

三つを合わせると、冒頭の問いへの答えの形が見える。目的に従う。ただし黙って外れるのではなく、理由を残して規則の側に返す。そうすることで、目的で判断した人は、規則を壊す側ではなく、規則を守り続ける側に立てる。

07AIに任せる仕事が増えるほど、目的を書く力が問われる

三つの論点は、AIに仕事を任せる割合が増えたとき、どう変わりうるか。最後にそれを見ておく。

ここからは推論である。AIは書かれた指示を文字どおりに満たすことが得意で、書かれていない目的を汲むことは保証されていない。AIが規則どおりに作業する場面が増えれば、人の役割は、規則を自分で守ることから、規則の目的を言葉にして示すこと、ずれを見つけること、規則を直すことへ移っていく可能性がある。

図の循環のうち、AIが担えるのは規則どおりの作業までで、ずれに気づき、目的で判断し、理由を残し、規則を書き直す部分は、今のところ人の側に残る。ただし、この役割の移り変わりが実際の職場でどう分担されるかは、まだ確かめられていない。調査で裏付けられた話ではないことを、書き添えておく。

推論ではなく言えるのは、指示を書く人が目的を書かなければ、AIは目印だけを満たして止まる、ということだ。ルールと目的のずれはAIの時代にも消えず、それに気づいて直す役目は、指示を書く人の側に残る。

ルールを守ることと目的を果たすことがずれたときは、目的に従う。ただし黙って外れるのではなく、なぜそう判断したかを記録し、ルールの書き直しにつなげる。

マートンが描いた、規則を一つも忘れないのに相手を助けられない人は、今ではAIの姿もとりうる。AIが文面どおりに守る場面が増えるほど、目的を言葉にし、ずれを見つけ、規則を直す一段を担うのは人である。