1. 「考えるモード」は増えたが、「考えないモード」は確かめられてこなかった

最近の LLM の多くは、答える前に推論の過程を書き出す「思考モード」を持つ。一つのモデルの中で、思考モードと非思考モードを切り替えられるように設計されたものもある。[4] 難しい問いには考えさせ、簡単な問いや形式の決まった出力には考えさせずに答えさせる、という使い分けが想定されている。

abstract によれば、思考モードの研究に比べて、その反対側である「考えない」振る舞いはあまり注目されてこなかった。これまでの研究は、考えないことを、思考モードを無効にした状態や、長い推論の文が出ていない状態といった代わりの目印で定義してきた。著者らは、この目印は当てにならないと指摘する。思考モードを無効にしても推論の文は出ることがある。逆に、長い文が出ていても、中身は推論ではなく、つなぎの言葉にすぎないことがある。

実務でこの差が問題になるのは、答えだけを受け取る前提で後ろの処理を組んでいるときである。「はい」か「いいえ」だけを返すはずの判定で、前置きの推論が混ざれば、後ろの処理は読み取りに失敗するか、誤った値を拾う。

2. 提案の芯は「答えの前に出た文を、三段階で仕分ける」こと

著者らはまず、モデルの応答を「答えの前の文」と「最終的な答え」の二つに分ける形に揃える。そのうえで、答えの前の文を三つの段階で評価する。

一つ目は Empty-Thinking Rate で、答えの前の文が空になっている割合、つまり答えだけを返すという指示に厳密に従った割合を見る。二つ目は、指示を踏まえた Question-Pre-answer Relevance で、答えの前の文が問いとどれだけ関係しているかを、類似度で測る。三つ目は Explicit Inference Rate で、別の LLM を判定役にして、目に見える形の推論が含まれているかを判定する。

この三つを組み合わせると、答えだけの出力、問いに関係はあるが推論ではない文、はっきりした推論、の三種類を区別できる、と著者らは説明する。この記事では、ここを手法の芯と見る。「何か文が出たかどうか」ではなく、「出た文が推論かどうか」を分けて数えることで、思考モードの設定と、実際の振る舞いとのずれが見えるようになる。

3. abstract の範囲で示されたこと

abstract には、対象となった六つのモデルと六つの介入の名前、各指標の値は書かれていない。どのモデルで推論が残りやすかったのか、思考モードを持つモデルと持たないモデルで違いがあったのかも、abstract の範囲では分からない。

4. 具体例で見る ── 「はい／いいえ」だけを返してほしい判定作業

文献の一次スクリーニングに LLM を使う場面を考える。抄録を一件ずつ渡し、「この抄録は対象の臨床試験の報告か。はい、いいえのどちらかだけを答えよ」と指示する。返ってきた文字列を、そのまま集計表の一列に書き込む仕組みである。

想定した出力： はい

実際に返りうる出力： この抄録は無作為化比較試験の結果を報告しており、対象の薬剤と比較対照が明記されている。したがって条件を満たすと考えられる。はい

はい／いいえで答える問いでは、abstract によれば正答率は安定していたので、この例で答えそのものが外れるとは限らない。問題になるのは形式のほうである。集計の仕組みが一語だけを期待していれば、二つ目の出力は読み取れないか、別の列に流れ込む。思考モードを無効にしたから大丈夫だ、と設定だけを見て判断すると、この差に気づくのは本番で集計が崩れたときになる。

一方、自由記述で答えさせる作業、たとえば抄録から「主要評価項目を一文で抜き出せ」という指示では、abstract の範囲では、答えだけを返させようとすると正答率が下がる引き換えが見られたとされる。答えの形式によって、指示の効き方も、指示を強めたときの代償も変わる。

5. 何が新しくないか、どこに限界があるか

思考を飛ばす指示そのものは、新しい発想ではない。先行研究には、推論モデルに対して簡単なプロンプトで思考の過程を飛ばさせ、限られた出力量の範囲では、それでも十分な性能が出る場合があると報告したものがある。[5] そうした研究が主に性能を見ていたのに対し、この論文は「指示どおりに考えるのをやめたか」という従い方そのものを測ろうとしている。設定や指示を代わりの目印にせず、出力の中身で判定する指標を組んだ点が、abstract から読める寄与である。

限界は abstract の範囲でもいくつかある。第一に、三つ目の指標は LLM を判定役にしており、判定役の誤りがそのまま数字に入る。判定役と人の判断がどれだけ一致するかは、abstract には書かれていない。第二に、二つ目の指標は類似度で測るため、問いの言葉を言い換えただけの文と、本当に推論している文を、どこまで分けられるかは分からない。

第三に、測っているのは目に見える推論だけである。モデルの内部で計算が行われているかどうかは、この指標の範囲外にある。第四に、評価に使ったモデルと介入が abstract に挙がっていないため、自分の使うモデルに結果が当てはまるかは、本文か公開されたコードで確かめる必要がある。[3]

6. この主題は束になっているか ── 単独の論文、ただし思考の制御という問いは続いている

この記事が拠る選定の仕組みでは、同じ問いに対して独立した論文が短い期間に重なって出てくる「束」を、主題が立ち上がった目印として重く見る。今回の論文は、収集された中で同じ束に入った論文がなく、束の大きさは 1 だった。立った系統も読者の票の一つだけである。

Hugging Face の Daily Papers での upvote は 200 で、公開リポジトリの GitHub star は 3 だった。[2][3] upvote は研究者の目に留まったことを示すが、主張が正しいことや結果が再現されたことは示さない。束を作っていない以上、今回は単独の論文として読むのが妥当である。

それでも、問いの背景には続いている流れがある。思考モードと非思考モードを一つのモデルで切り替える設計が広がり、[4] 思考を飛ばしても性能が保てる場面があるという報告も出ている。[5] 切り替えの機能が増えるほど、「切り替えたつもりで、本当に切り替わっているか」を測る必要も増える。この論文は、その測る側の道具を出したものと位置づけられる。

7. 製薬・規制の現場から見ると

製薬の業務で LLM を組み込む場合、形式の決まった出力を求める場面は多い。文献スクリーニングの採否、有害事象の報告に重篤性の判断が要るかどうかの一次振り分け、用語集の候補からの語の選択などである。どれも後ろの処理や記録が、決まった形の答えを前提にしている。

この論文から引き出せる実務上の結論は、「答えだけを返す」ことを、モデルの設定や指示文から当然に期待してはいけない、という点である。導入時の確認では、正答率とは別に、出力の形式が守られた割合を項目として立て、本番に近い問いで測る必要がある。答えの形式ごとに指示の効き方が違うことも、abstract は示している。

abstract の結果のうち、答えの候補を示すと答えだけの応答が出やすくなる、という点は設計の手がかりになる。自由記述で語を書かせるより、決められた候補の一覧から選ばせるほうが、形式は守られやすいかもしれない。ただし、これは abstract の範囲の観察であり、自社の用途で同じことが起きるかは、自社の問いで確かめるしかない。もう一つ、推論の文が残ると、それが記録に紛れ込む。判断の根拠として残すのか、捨てるのかを、記録の扱いとして先に決めておく必要がある。