研究エージェントの「説明」は、実験結果の予測を良くするのか ── 説明が予測に足した分を「予測上の貢献」として測る手順を組み、自然な説明の貢献は確認できなかったと報告したプレプリント

1. 説明が付いた実験計画は、結果を読みやすくするのか

LLM を使った研究エージェントは、文献を読み、仮説を立て、実験を計画するところまで手を広げつつある。そうしたエージェントが出す実験計画には、たいてい説明が付いている。「この化合物はこの経路に作用するので、この試験で陽性になるはずだ」といった筋書きである。

説明があると、計画は読みやすくなる。ただ、読みやすいことと、結果を当てやすくなることは別である。説明がもっともらしく見えても、それを読んだ予測者の見積もりが良くならないなら、その説明は予測の面では何も足していない。逆に、説明の中身ではなく、説明が付いているという形だけで見積もりが動くこともありうる。

著者らが問題にしているのは、この区別をどう測るかである。研究エージェントの評価では、出した説明の読みやすさや専門家の印象が使われがちだが、それは説明が予測に役立ったかとは別の量になる。^[1]一次情報は arXiv に公開されたプレプリントで、査読前の段階にある。

2. 提案の芯は、説明だけを入れ替えた予測の対比較

手法の芯は一つに絞れる。同じ介入、同じ予測者、同じ結果について予測を対で取り、予測者に渡す文脈だけを入れ替えることである。入れ替える文脈は三種類ある。実験の記述だけ、その実験に対応した説明（matched explanation）、そして著者らが donor と呼ぶ、別のところから持ってきた文脈である。

記述だけの予測と、対応した説明つきの予測を比べれば、説明が足した分が分かる。さらに donor の文脈つきの予測と比べることで、その差が説明の中身から来たのか、「何か説明らしい文章が付いている」こと自体から来たのかを切り分けられる。この切り分けが、この論文の設計の要点である。

そのうえで著者らは、五つの検査を並べている。説明が予測を約束しているか（commitment）、予測者に届いたか（delivery）、予測が良くなったか（predictive gain）、説明と予測の向きが揃っているか（alignment）、すでに分かっている手がかりを予測者が取り込めたか（known-signal uptake）である。各検査の具体的な定義と合否の基準は、abstract には書かれていない。

3. abstract の範囲で示されたこと

評価の場は三つある。制御した学習課題での 336 の前向きの状態、Tox21 の 12 の毒性エンドポイント、OpenML の 24 の課題である。著者らは判定規則を事前に固定しており、その規則による「説明に予測上の貢献があるか」の判定は、結論が出ないに終わった。

Tox21 では、事前登録した ROC AUC の区間スコアによる害の検定が基準を満たさなかった。区間はゼロをまたいでいる。OpenML では、事前に決めた形成・点推定の同等性・再現性の規則が満たされなかった。記述だけの場合と比べた、対応した説明による点推定の改善は確認されず、Tox21 と OpenML の donor のシードをまたいだ区間もゼロをまたいだ。

部分的な結果もいくつか書かれている。DeepSeek V4 Pro を予測者にしたとき、対応した説明のカードと donor のカードは、Tox21 の副次的なずれをそれぞれ 64.5% と 59.1% 減らした。両者がほぼ同じ程度に効いているので、中身の対応よりも、カードが付いていること自体の効果と読める余地がある。一方、DeepSeek V4 Flash で同じことをやり直すと、対応した説明つきの点推定の誤差はかえって大きくなった。OpenML では、カードをすべて与えると名目 80% の予測区間が 21% 広がったが、実際の被覆率は 49.3% で、記述だけの 51.4% を下回った。説明の中身が入っていたのは 144 枚中 66 枚だった。文章をそのまま渡した場合、144 件の説明はすべて届いたが、点推定の改善は検出されなかった。

対照として、研究者が書いた仕組みの説明を与える陽性対照も置かれている。こちらは記述だけと比べて点推定の誤差を 2.60 ポイント下げた。つまり、本当に役立つ説明があれば、この手順はその差を拾える。そのうえで、エージェントが自然に書いた説明の貢献は、試した donor の細かさの範囲では確認できなかった、というのが著者らの結論である。

4. 具体例で見る ── 毒性予測の検討会で、AI の説明をどう扱うか

候補化合物の毒性を見積もる検討会で、AI エージェントが試験計画と説明を出してきた場面を考える。

この会話の後半が、論文の対照設計にあたる。記述だけ、対応した説明つき、別の文脈つきの三つを並べて初めて、説明の中身が予測に何を足したかが分かる。この論文の範囲では、自然な説明の中身による上乗せは確認されず、研究者が書いた仕組みの説明でだけ差が出た。

5. 新しくない部分と、abstract から読み取れない限界

説明の有無で人や機械の判断が変わるかを、対照を置いて調べる考え方は新しくない。予測を区間で出させ、その被覆率で較正を見ることも、予測評価では広く使われてきた。Tox21 は米国の連邦機関の共同研究で、化学物質や医療製品の安全性評価の方法を作ることを目的にしている。^[3]OpenML は機械学習の課題と結果を共有する場として整備されてきた。^[4]この論文の寄与は、これらの既存の場の上に、説明の貢献を中身と形に分けて測る手順を組み、事前に判定規則を固定した点にある、と読める。

限界は多い。第一に、判定の結論は「効かなかった」ではなく「結論が出ない」である。差が無いことを示したのではなく、差があるとも無いとも言えなかった。第二に、donor の文脈がどう選ばれ、どの程度似ているのかは abstract からは分からない。donor が対応した説明に近すぎれば、差は出にくくなる。著者らも「試した donor の細かさでは」と条件を付けている。第三に、予測者は特定のモデルに限られ、モデルを替えると結果の向きが変わる例も報告されている。第四に、研究エージェントの説明そのものの質がどの程度だったかは、abstract の範囲では示されていない。

abstract は略語と検定名が多く、読み違えやすい。予測区間が広がったのに被覆率が下がったという結果も、どういう仕組みでそうなったかは本文を読まないと分からない。この記事の読みも、abstract の範囲に限られる。

6. 束になっていない一本の論文として読む

この論文は、Hugging Face の Daily Papers で 97 の upvote を集めた。^[2]ただし upvote は読者が「読む価値がある」と投じた票であって、正しさや重要さを保証するものではない。当サイトの選定でも、この論文に立った signal は読者の票の系統だけで、公開実装や報道の追随は確認されていない。

同じ問いを扱う論文の束もできていない。収集した論文の中で同じ主題に寄った論文は見つからず、束の大きさは 1 だった。研究エージェントの評価という大きな流れの中にはあるが、「説明の予測上の貢献を測る」という問いが一斉に立ち上がっているとまでは言えない。

それでも取り上げるのは、この論文が否定寄りの結果をそのまま報告しているからである。研究エージェントの成果は、うまくいった例で語られることが多い。事前に固定した規則で判定し、結論が出なかったことを結論として出す論文は、評価の作法を考えるうえで参照しやすい。

7. 製薬・規制の現場から見ると

製薬の現場では、AI に毒性や薬効の見込みを説明させる検討が各所で進んでいる。この論文が評価に使った場の一つが Tox21 の毒性エンドポイントであることは、創薬の読者にとって無関係ではない。

持ち帰れる点は二つある。一つは、説明が付いていることと、説明が判断を良くしていることを分けて確かめることである。AI の説明を判断材料にする仕組みを社内に入れるなら、説明なし、対応した説明あり、別の説明ありの三つで判断を比べる確認を、妥当性確認の手順に入れられる。もう一つは、判定規則を先に決めておくことである。結果を見てから基準を選べば、どんな説明でも役立ったように見せられる。

説明が役立つかどうかが確かめられていない段階では、AI の説明は判断の根拠ではなく、人が検討するための材料として扱うのが筋になる。この論文はプレプリントであり、ここで述べた運用上の示唆も、この論文の範囲から読める範囲にとどまる。