01説明を三度足すより、表が欲しいと言い直すほうが早かった
2026 年 3 月、運営者はあるプログラムで何ができるかを、表にしてほしいと AI に頼んだ。返ってきたのは表ではなく、機能の説明だった。運営者は範囲を狭めて頼み直した。それでも、返ってきたものは期待と違った。
三度目に、運営者は頼み方を変えた。何を知りたいかを説明するのをやめ、欲しいものは機能の一覧を並べた表であると、成果物の形を名指しした。そこで解釈のずれは終わった。
この記録から取り出せる型は一つである。AI の解釈がずれたとき、説明を足しても直らないことが多い。直るのは、欲しい成果物の形を指定したときである。形とは、表か文章か一覧か、列は何か、何件並べるか、という出力の外形を指す。
02依頼には題材の層と形の層があり、ずれは形の層で起きる
AI への依頼は、二つの層でできている。一つは題材の層、つまり何について答えるかである。もう一つは形の層、つまりどんな姿で返すかである。
解釈のずれが起きたとき、人は題材の層を疑いやすい。対象を絞り、条件を増やし、背景を説明する。しかし記録の出来事でずれていたのは形の層だった。題材は最初から合っていて、返ってくる姿だけが違っていた。
この違いを見分ける目印がある。返ってきたものを読んで「内容は合っているが、これではない」と感じたら、ずれは形の層にある。「そもそも別の話をしている」と感じたら、題材の層にある。
| 見るところ | 説明を足して直す | 形を指定して直す |
|---|---|---|
| 直そうとしている層 | 題材(何について) | 外形(どんな姿で) |
| 一回の往復で決まること | 範囲が少し動く | 出力の型が決まる |
| 効く場面 | 対象そのものが違うとき | 内容は合うが姿が違うとき |
| 外したときの損 | 同じ姿の答えが積み上がる | 形を言い直せば済む |
03説明を足す往復は、ずれた姿を固定していく
形の層のずれに説明を足すと、二つの損が出る。
一つは往復の数である。説明は一度に少ししか効かない。記録では、表が返るまでに三往復かかった。形を最初に指定していれば一往復で済んだ。
もう一つは、ずれた姿が固定されることである。やり取りが続くほど、直前の出力が次の出力の手本になる。説明の文章が返り続けた後で「表にして」と頼むと、説明の文章に表が添えられる形になりやすい。求めていたのは、説明の代わりに置く表である。
04指定すべき形は、種類・列・範囲・分量の四つに分かれる
「形を指定する」という言い方は広い。実際に指定する値は四つしかない。
種類
表・箇条書き・段落・図・そのまま貼れる文面のどれか。一つだけ選ぶ。
列
表なら列の名前を書く。箇条書きなら一項目に何を入れるかを書く。
範囲
対象の切り口。全部か、条件に合うものだけか。除くものがあれば書く。
分量
件数、行数、文の数。上限を書くと、説明が付け足されにくくなる。
この四つを書くと、依頼文は短くなる。背景の説明が要らなくなるからである。運営者の記録でも、通った依頼文のほうが、通らなかった依頼文より短い。
境界もある。形が決まっていない段階では、形を指定しない。何を知りたいかがまだ固まっていないとき、形を先に決めると、決めた枠に入るものしか返ってこない。探している段階では問いのまま渡し、欲しいものが見えてから形を指定する。
05資材審査の依頼では、指摘の一覧か文章かで手戻りが変わる
製薬企業の資材審査やメディカルの仕事でも、同じずれが起きる。ある資材を AI に読ませ、気になる所を挙げてほしいと頼む。返ってくるのは、資材全体についての評価の文章である。内容は間違っていない。だが、そのままでは次の作業に使えない。
審査の記録に残すのは、箇所と根拠と理由が一行に並んだ一覧である。だから頼むときも、その姿を先に言う。箇所、当てはまる規定、なぜ問題か、直し方の案、という四つの列を持つ表で返してほしい、と指定する。列を決めておくと、根拠が空欄の行がそのまま目に入る。
分量の指定も効く。重い順に十件までと決めると、全部を平らに並べた長い出力にならない。逆に、資材のどこに何を書くべきかを考えている段階では、形を決めずに渡したほうがよい。形を決められるのは、使い道が決まっている作業だけである。
06足りない指定は AI が補うため、姿の指定が内容の説明より強く効く
なぜ形の指定がこれほど効くのか。理由は三つある。
一つ目は、AI が足りない指定を補って答えることである。言語学者の Grice は、会話の参加者は求められただけの情報を出そうとする、という原理を立てた。量の公理と呼ばれる。形を書かない依頼を受けた AI は、求められた量を自分で見積もる。見積もりが大きければ、説明が長くなる。
二つ目は、AI があいまいさを扱うのが苦手なことである。Liu らが 2023 年に公開した研究は、複数の読み方ができる文をどう解きほぐすかを調べ、当時の最も強いモデルでも、人の評価で正しいと認められた解きほぐしは 32% にとどまったと報告している。あいまいな依頼に対して AI が選ぶ読み方は、当てにできない。
三つ目は、出力の外形が結果そのものを動かすことである。Sclar らの研究は、同じ課題でも依頼文の見かけの整え方を変えるだけで、正答率が最大 76 ポイント動く場合があることを示した。形は飾りではなく、出力を決める条件である。Anthropic の指針も、望む出力の形と制約をはっきり書くこと、してほしくないことではなくしてほしいことを書くことを勧めている。同じ会社は、返す形をあらかじめ型として渡す仕組みも用意している。
07明日からは、ずれたら説明を足さず、形を一文にして言い直す
手順は四つである。
- どちらの層がずれたかを決める。内容は合うが姿が違うなら形の層である。別の話をしているなら題材の層である。
- 形の層なら、説明を足さない。前の依頼文に条件を継ぎ足すのをやめ、書き直す。
- 種類・列・範囲・分量を一文に入れる。「この範囲について、これらの列を持つ表を、十行まで」と書く。背景は書かない。
- 返ってきたものを形だけで見る。列がそろっているか、余分な説明が付いていないか。内容の正しさは、形が合った後に確かめる。
通った依頼文は、次に同じことを頼むときの手本になる。運営者の記録では、形を指定した依頼文が後の依頼文の下敷きになっている。四つの値を書き留めておくだけで、同じずれを二度起こさなくなる。
- 内容は合っているのに使えない出力が返ったら、ずれているのは題材ではなく成果物の形である。説明を足しても直らない。
- 指定する値は、種類・列・範囲・分量の四つだけである。四つを書くと依頼文は短くなり、一往復で姿が決まる。
- 形を先に決められるのは、使い道が決まっている作業だけである。まだ探している段階では、形を決めずに問いのまま渡す。
AI に何かを頼んで期待と違うものが返ったとき、足りないのは説明ではないことが多い。足りないのは、欲しいものの姿である。姿は四つの値で書ける。書けば、やり取りは短くなり、返ってきたものをそのまま次の作業に渡せる。次の回では、返ってきた成果が古いままだった場面から、仕組みのどこに穴があったかをたどる。
- Anthropic. Prompting best practices. Claude Developer Platform Docs. https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices
- Anthropic. Structured outputs. Claude Developer Platform Docs. https://platform.claude.com/docs/en/build-with-claude/structured-outputs
- Sclar, M., Choi, Y., Tsvetkov, Y., Suhr, A. Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design. arXiv:2310.11324, 2023. https://arxiv.org/abs/2310.11324
- Liu, A., Wu, Z., Michael, J., et al. We're Afraid Language Models Aren't Modeling Ambiguity. EMNLP 2023 (arXiv:2304.14399). https://arxiv.org/abs/2304.14399
- Davis, W. Implicature. Stanford Encyclopedia of Philosophy. https://plato.stanford.edu/entries/implicature/