この論文は何を問題にしているか

コーディングやターミナル操作を任されるAIエージェントは、モデル本体だけで動いているわけではない。モデルに何を見せ、どの道具をどう呼ばせ、どこで作業を打ち切るかを決める外側の仕組みがある。これを「ハーネス」と呼ぶ。最近は、エージェント自身が経験からこのハーネスを書き換えていく「再帰的自己改善（RSI）」の研究が増えている。

この論文が問うのは、その改善が本当に「使い回せる改善」なのか、という点である。著者らは三つの落とし穴を挙げる。第一に、評価に使うベンチマークそのもの、またはその一部でハーネスを鍛えると、汎用的な改善とベンチマークへの慣れを区別できない。第二に、一本の実行記録だけを見て修正すると、仕組みの欠陥と、その課題に固有の推論や解き方の細部が混ざり、見たことのない課題では効かない修正が生まれる。第三に、ハーネスを一枚岩として丸ごと最適化すると、関係のない仕組み同士が絡み合い、どの変更が効いたのかを突き止めにくくなる。

何を提案しているか

提案の芯は「分けて直し、あとで束ねる」である。ModularRSI はハーネスを五つの機能モジュール、すなわちエージェントループ、道具の使用、観測の管理、コンテキストの管理、タスク完了の判定に分解する。各モジュールは、変更してよい範囲を限った上で個別に改良される。その後の統合段階で、改良済みのモジュールを一つのハーネスにまとめ、ぶつかる箇所を解消する。

何を直すかの手がかりには、同じ課題に対する成功した実行記録と失敗した実行記録の対比を使う。さらに一つの課題で決めずに、複数の課題にまたがって証拠を集め、繰り返し現れる振る舞いの欠陥だけを拾う。加えて、改良に使う課題は評価用ベンチマークと重ならない外部の出典から集めた。abstract によれば、実行可能な改良用タスクを 2,000 件用意している。

何を示したか

abstract に書かれている結果は次の範囲にとどまる。TB2.0 と SWE-Bench Verified[3][4] での実験で、見たことのない同一領域の課題と、別領域の課題の両方において、一貫した改善が見られたという。また、改良されたハーネスは、異なる基盤モデルに載せ替えても効果が移ったと著者らは主張している。

改善の幅、比較対象としたハーネス、使った基盤モデルの種類は、abstract の範囲では示されていない。TB2.0 が何の略かも abstract には書かれていない。ターミナル操作の評価として知られる Terminal-Bench[5] の系統と読むのが自然だが、abstract からは確認できない。なお本稿執筆時点で、この論文は査読を経ていないプレプリントである。

具体例で見る

社内の文書処理にコーディングエージェントを使っている部門を想定する。エージェントがときどき「終わりました」と報告するのに、実際には出力ファイルが欠けている、という不具合がある。

一本の失敗から丸ごと直す

失敗した一回の記録を読ませ、ハーネス全体を書き換えさせる。直った変更の中に、その文書に固有の手順が紛れ込む。別の文書では効かず、しかもどこを変えたせいで直ったのかが分からない。検証のたびに全体を見直すことになる。

対比と集約でモジュールを直す

同じ課題の成功例と失敗例を並べ、多くの課題に共通する欠陥を探す。原因が「完了判定」にあると絞れれば、そのモジュールだけを変更範囲に限って直す。変更の効果を測る課題は、改良に使った課題とは別に用意しておく。

右側の進め方は、直した理由と直した場所を後から説明しやすい。論文が狙っているのは、成績の上昇そのものより、この「説明できる直し方」のほうだと読める。

何が新しくないか／限界はどこか

ハーネスを経験から改良するという発想自体は新しくない。abstract の冒頭でも、RSI をエージェントのハーネスに広げる先行研究があることを前提にしている。成功例と失敗例を対比して原因を探ること、学習用と評価用のデータを分けることも、機械学習では基本の作法である。この論文の寄与は、これらをハーネス改良に持ち込み、モジュール分割と統合の手順として組み立てた点にある。

限界として、まず五つのモジュールへの分け方が妥当かどうかは abstract からは判断できない。別の分け方でも同じ効果が出るのか、統合段階で衝突がどの程度起きたのかも示されていない。改良用タスクを評価用と「重ならない」とする基準も、abstract の範囲では条件が示されていない。出典が違っても課題の型が似ていれば、ベンチマークへの慣れと区別しにくくなる。評価がコーディングとターミナル操作に限られている点も、他の種類の業務へ一般化できるかを考える上で注意が要る。

この主題が今なぜ話題になっているか

集計時点で、この論文は Hugging Face の Daily Papers で 174 の upvote を集め、公開リポジトリ[2]には 32 の star が付いていた。読む人と実装を試す人の両方から反応があった、ということである。ただしこれは話題性の指標であって、主張が正しいことの裏付けではない。

今回の収集では、同じ問いを扱う独立した論文の束は見つからず、束の大きさは 1 だった。つまり「主題として立ち上がった」というより、一本の論文が目立った状態に近い。一方で、キーワードに並ぶ「ハーネス」「再帰的自己改善」は、当サイトでも自己改善を扱った論文レビューなど、ここ最近繰り返し取り上げてきた主題でもある。エージェントの性能をモデルの外側の仕組みで引き上げる流れの中の一本として読むのがよい。

製薬・規制の現場から見ると何が接続するか

製薬の現場でエージェントを使うとき、問われるのは成績より「変更を管理できるか」である。GxP に関わるシステムでは、何を変えたか、なぜ変えたか、変えた後に何で確かめたかを記録し、説明できなければならない。ハーネスが自分自身を丸ごと書き換える仕組みは、この要求と相性が悪い。

その点で、変更範囲をモジュールごとに限り、改良用と評価用の課題を分けるという ModularRSI の考え方は、変更管理やバリデーションの考え方に近い。とはいえ、この論文は規制対応を目的に書かれたものではなく、監査証跡の残し方や人による承認の入れ方には触れていない。自己改善するエージェントを業務に入れるなら、改良の各段階で人が差分を確認し、承認してから反映する運用を別に設計する必要がある。

まとめ

ModularRSI は、エージェントのハーネスを五つの部品に分け、成功と失敗の対比から共通の欠陥を拾い、評価と重ならない課題で改良する枠組みである。著者らは、見たことのない課題や別の基盤モデルでも改善が見られたと主張している。ただし査読前のプレプリントであり、改善の幅や条件は abstract からは読み取れない。注目度の高さを正しさと取り違えず、リポジトリと本文で条件を確かめてから評価したい。