成績が、足場の側にぶら下がっている

エージェントを動かすとき、モデルの外側には必ず仕組みがある。どんな道具を、どんな順で見せるか。ひとつの動作をどれだけ細かく刻むか。途中で失敗したとき、何を返して立て直させるか。この外側の仕組みを、著者らは harness と呼んでいる。訳せば「装具」や「足場」に近い。

厄介なのは、この足場を作り込むと成績は確かに上がるが、上がったぶんは足場に結びついたままだという点である。しかも最適な足場は、領域ごとに違い、案件ごとに違い、モデルごとに違う。汎用に使うエージェントを作ろうとすると、どちらかを選ぶことになる。全部に共通の、どこでも最適ではない足場で我慢するか。それとも領域ごとの足場を増やし続け、案件ごとにどれを使うか振り分けるか。前者は成績を捨て、後者は増え続ける仕組みを抱え込む。

芯にあるのは、足場そのものを学習の手本に使うこと

著者らが提案する芯は一つである。作り込んだ足場を、運用に持ち込むのではなく、学習時の手本として使う。足場が引き出した振る舞いをモデルの重みへ移し、運用では足場を外す。これを著者らは足場の蒸留と呼んでいる。

ここに難所がある。作り込んだ足場と、運用時の足場とでは、取れる動作の集合も、見える情報も違う。だから作り込んだ足場が出した答えを、そのまま運用側の教師データとして使えない。動作の言葉が違うからである。そこで持ち込まれたのが agent-as-harness、すなわち 足場の役をコードではなくエージェントに担わせるという組み方である。足場役のエージェントが、作り込んだ足場の導きを参照しながら、学習中のモデルの答えを実行前に直す。直した先は運用側の動作の言葉に揃えてある。こうして足場の導きが、そのまま学習用の手本に変わる。その軌跡で追加学習すれば、足場が引き出していた振る舞いが重みの内側に入る、という筋書きである。

abstract が述べている範囲

著者らは、知識労働・道具使用・科学の三つの領域にまたがる実験を報告している。abstract に置かれた主張は三つである。

ここまでが abstract の範囲である。これは著者らの主張であって、確立した結論ではない。とくに二つめは、足場を外したほうが付けたときより良い、という向きの主張であり、扱いには慎重さが要る。査読前のプレプリントである以上、比較の条件と反証の扱いは本文と査読を待つほかない。

現場に置き換えると、どう見えるか

足場を付けたまま運ぶ

点検の手順書、確認項目の並び、差し戻しの型。領域ごとに作り込んだ一式を、運用の現場ごとに配って回す。成績は出るが、領域が増えるたびに一式が増える。どの一式をどの案件に当てるかを決める役が、新しく要る。更新も一式ごとに要る。

足場を外して運ぶ

作り込んだ一式は、育てる段でだけ使う。現場に出すのは、その手順が身についた状態のものだけ。配って回る一式は一種類で済む。ただし、身についた中身が外から見えない。何を根拠にそう動くのかを、手順書の形で指させなくなる。

この差は、速さや費用の差ではない。手順が外側にあるか、内側に溶けているかの差である。外側にあるうちは、読める、直せる、監査で指させる。内側に溶けた瞬間、そのどれもが難しくなる。蒸留という手立ては、扱いやすさと説明しやすさを交換している。

新しくない部分と、読み取れない部分

強い側の振る舞いを弱い側へ移すという考え方そのものは、新しくない。蒸留と呼ばれる手立ては長く使われてきたし、道具の使い方を学習データに変えて教え込む試みも珍しくない。この論文が持ち込んでいるのは、移す対象を モデルの出力ではなく、足場が引き出した振る舞いのほうに置いたところである。

読み取れないことも多い。足場役のエージェントがどの程度の強さのモデルなのか。直しを入れた割合はどれだけか。運用側の足場を、どの水準に固定したのか。いずれも abstract の範囲では条件が示されていない。足場を外したほうが付けたときより良いという結果も、比べた相手の足場がその場面に合っていなかっただけ、という読み方が残る。回復したとされる振る舞いの型が、どういう粒度で数えられたのかも示されていない。

票と実装は付いたが、束にはなっていない

この論文には公開後に 35 件の upvote が付き、公開リポジトリには 28 件の star が付いた。読む価値があると判断した読者と、手元で動かそうとした実装者が、それぞれ一定数いたということである。一方で、同じ問いを扱う別の論文が同時期に並んだ形跡は、収集の範囲では確認できていない。

つまり、立っているのは読者の票と実装という二系統で、論文の束としては立っていない。当サイトの選定では、話題の広がりを票・実装・報道・論文の束という互いに独立した系統で測っている。票が集まったことも、star が付いたことも、正しさや重要さを示す数字ではない。読んでみる価値があると思った人と、動かしてみようと思った人がいた、という以上の意味を持たせてはならない。

製薬・規制の現場から見ると、どこに接続するか

この論文が触れているのは、規制下の実務にとって古い論点の新しい形である。手順を人の外側に置くか、内側に入れるか。教育の現場でずっと問われてきたことと、構造が同じである。

資材の点検を例にとると、外側に置くとは、確認項目を手順書に書き出し、誰が見ても同じ順で辿れるようにすることである。内側に入れるとは、熟練者がいちいち手順書を見ずに違和感を拾える状態を指す。実務では両方が要る。だが記録として差し出せるのは、外側にあるほうだけである。「経験上おかしいと思った」は、監査で使える言葉ではない。

したがって、この手立てをそのまま持ち込むときには、順序を分けて考える必要がある。速さと配りやすさのために足場を外すのは構わない。しかし 判断の根拠を指せなくなる工程については、足場を外してはならない。どの判断が説明責任を伴うのかを先に切り分け、その外側だけを内側に溶かす。切り分けを後回しにすると、性能の高い、しかし理由を示せない工程が出来上がる。規制の現場で扱いに困るのは、間違える仕組みより、当たっているのに理由を示せない仕組みのほうである。