AI の三案は選ばず、①→③→② と実行の順番を決める── 三案とも要るなら決めるのは順番であり、危険を塞ぎ、小さく試し、取り消しにくい作業を最後に置けば、失敗の届く範囲が小さくなる

01運営者は三つの案から一つを選ばず、実行の順番を指定した

2026 年 7 月、運営者は AI とある仕組みの作業を進めていた。AI は次の進め方を三つ、番号を付けて示した。①は危険を塞ぐ。②は新しい部分を本番の仕組みにつなぐ。③は小さな規模で試す。

運営者は一つを選ばなかった。①、③、②の順で進めるよう頼んだ。番号順なら最後になる小さな試行が、本番につなぐ前に来る。本番につなぐ段には、元の動きが壊れていないかを確かめる作業も付けた。

続く指示は、もっと細かい。①の修正は手元の本体に取り込むが、外部へは送らない。次に、今動いている仕組みを読む。そのうえで、いちばん小さい試行を設計する。

記録が示すのは、ここまでである。この順番で事故を防げたかどうかは、記録からは分からない。そこで考えたいのは、AI が案を並べたとき、番号どおりに進めず順番を決め直すことに理屈があるのか、という点である。

02全部が要る案なら、決めるのはどれかではなく順番である

番号の付いた案は、一つを選ぶものに見える。しかし上の三案は競合していない。危険を塞ぐことも、試すことも、本番につなぐことも、最後にはどれも要る。

こうした案は選択肢ではなく、工程である。工程なら捨てる案はなく、決めることは順番だけになる。順番で変わるのは、最初の失敗がどこまで届くかである。次の表は、同じ三つの作業を一般的な理屈で並べ替えたもので、記録の実測ではない。

03本番につないだ後の失敗は、試す段の失敗より取り戻しにくい

本番につなげば、失敗は実際の業務や利用者に届く。元に戻す作業も増える。Google の運用の手引きは、変更を本番のごく一部にだけ、期間を限って出して評価する方法を説明している。狙いは、影響をできるだけ小さくして欠陥を早く見つけることである。数値が悪ければ、止めて戻す。

AI に広く任せる場面でも、考え方は同じである。Anthropic の手引きは、AI の自律性が高いほど費用と誤りの積み重なりの危険が増すとして、隔離した環境での十分な試験と安全策を勧めている。複雑さを足すのは、結果が良くなると示せたときだけでよいとも書いている。

どちらの文書も、①→③→② という順番を指示してはいない。ただ、試してから広げるという部分では同じことを言っている。

危険を試行より先に塞ぐのは、試す段にも危険が届くからである。少数の実データで試しても、外に漏れれば実害になる。試行を安全に行うために、塞ぐ段が先に要る。

順番にはもう一つ効果がある。小さく試すと、本番につなぐかどうかを決める材料が手に入る。番号順に本番へ進むと、この判断の機会が試行の前になくなる。試した結果、本番につながないという結論もありうる。

04順番の指定とは、各段の終わりと次へ進む条件まで決めることである

ここでいう順番の指定とは、AI が示した案を実行の順に並べ替え、何が済めば次へ進むかまで使う人が決めることをいう。番号を並べ替えるだけでは、次の段へ進んでよいかの判断が AI の側に残る。

この型が要らない場面もある。第一に、案が本当に択一のときである。二つのサービスのどちらかと契約するなら、順番ではなく選択の問題になる。

第二に、簡単に戻せる作業である。Claude Code の指針は、巻き戻しの機能があれば大胆な案を先に試しても危険は小さいと書いている。ただし同じ指針は、コマンドで変えたファイルは巻き戻しの対象にならないと注意している。社外へ送ったものも、この機能では取り消せない。分かれ目は、作業の大きさではなく、取り消せるかどうかである。

第三に、危険の正体がまだ分からないときである。塞ぐものが分からなければ、本番から離した環境で先に試し、見つけた危険を塞いでから次へ進む。①→③→② は固定の手順ではない。変わらないのは、取り消しにくいものを後ろに置くという基準である。

05資材審査では、AI の下読みを実際の審査につなぐ前に過去の資材で試す

製薬企業で、AI に資材の下読みをさせる案を例にする。これは記録の出来事ではなく、型を当てはめた例である。危険を塞ぐ、小さく試す、審査につなぐという三案が AI から示されたとする。

過去の資材を使うのは、人の結論が分かっているので比べられるからである。AI が誤っても、審査中の資材には影響しない。

ただし、試行が良くても安心はできない。米国 NIST の生成 AI の手引きは、導入前の試験が実際に使う場面と合わないことがあると指摘している。だから過去の資材は、これから審査する種類に近いものから選ぶ。同じ手引きは、自動化された仕組みに過度に従う傾向にも触れている。つないだ後も、担当者が AI の指摘をそのまま受け入れていないかを見る必要がある。

資材審査の外でも、社外に届く、元のデータが変わる、ほかの人の作業に流れ込む、費用が発生する、のどれかに当たる作業では同じ型が使える。

06AI はどの失敗がどれほど痛いかを知らないので、順番は使う人が決める

Claude Code の指針は、AI が見られないものとして、人の頭の中にしかない手順、読んではならないファイル、守るべき予算などを挙げている。失敗の痛さも同じである。資材の誤りが外に出たときの影響や、誰の承認が要るかは、書かなければ AI には分からない。

案に付いた番号は、説明の順である。実行の順だとは限らない。番号どおりに進めると、説明の順がそのまま実行の順になる。

AI に順番の良し悪しを尋ねるだけでも足りない。Anthropic の研究者らによる 2023 年の論文は、主要な五つの AI アシスタントが、利用者の聞きたいことを返す傾向を複数の課題で示したと報告している。「この順でよいか」と聞いて賛成が返っても、安全の根拠にはならない。尋ねるなら、賛成ではなく見落としを挙げさせる。

塞ぐ段には、もう一つ注意がある。Claude Code の指針は、絶対に起きてはならないことを依頼文だけでは保証できないと書き、拒否の設定のように仕組みが毎回強制する手段を別に挙げている。①は「気をつけて」と書いて終わりにせず、設定や権限で確かめられる形にする。

07明日からは、案を取り消せるかで分け、最初の段だけを頼む

AI が案を並べたら、次の五つを行う。

1. 択一か、全部要るかを確かめる。「これらは一つを選ぶものか、全部要るものか」と AI に尋ねる。
2. 二つの問いで分ける。失敗したら取り消せるか。失敗は誰に届くか。この答えは自分で決める。
3. 並べ替える。危険を塞ぐ作業を先に、取り消せる範囲の試行を次に、取り消しにくい作業を最後に置く。
4. 最初の段だけを頼む。「まず①だけを行い、外へは出さず、結果を見せて止まってください」と書く。
5. 順番の見落としを尋ねる。「この順で見落としている危険を三つ挙げてください」と頼み、答えを読んでから次へ進む。

次へ進む条件は、試す前に書いておく。試した後で決めると、結果に合わせて条件を緩めたくなるからである。条件は「人の指摘のうち、AI が見逃した種類を一覧にできた」のように、済んだかどうかを見て言える形にする。