エージェントに事後学習を任せると、複数の分野で同時に伸びるのか ── データの選択だけを変え、五つの分野で成績を測る評価環境 ParetoRSI-Gym を提案したプレプリント

1. この論文は何を問題にしているか

問題は、事後学習の評価が実際の判断の形に合っていないことである。著者らによれば、再帰的自己改善にはエージェントのシステムが自分の後継を設計し、学習させ、評価する必要があり、データに基づく事後学習はその中心的な工程にあたる。ところが既存の評価は、固定された候補から選ぶ、あるいは強いモデルを蒸留するといった方法で、一つのベンチマークの点数を一度の実行で押し上げる形になっている^[1]。

実際の事後学習は複数の分野にまたがる。ある分野の得点が上がっても別の分野で下がるなら、その更新を採るかどうかは簡単に決まらない。単一の点数では、この判断を評価できない。なお、この論文は査読前のプレプリントであり、以下は著者らの主張と、著者らの実験の範囲での結果として読む。

2. 何を提案しているか

芯は、データ以外をすべて固定して、エージェントのデータ選択の力だけを複数分野で比べることである。固定されるのは、出発点の言語モデル、五つの分野、道具の一式、教師ありの微調整の工程である。エージェントはデータを探し、選び、学習させ、分野ごとの結果を読み、これを繰り返す^[1]。

もう一つの要点は、エージェントが追いかける点数と、最終的に測る点数を分けたことである。各分野の汎化ベンチマークは、能力の向上と、最適化の対象にした点数への過剰な適合を区別するために置かれている。リポジトリの説明では、エージェントは各回で代理の評価を読み、最後に、エージェントが一度も見ない取り置きのベンチマークでチェックポイントが採点される^[2]。エージェントが変更できない設定は、設定ファイルにまとめられている。

3. 何を示したか ── abstract に書かれた範囲だけ

実験は、三つのエージェントシステム、三つの基礎モデル、五回の繰り返しと複数のシードで行われた^[1]。

• 最も成績の良かったシステムは Claude Code と Opus-5 の組み合わせだった。
• このシステムでは、代理指標で最良のチェックポイントの汎化成績が、出発点のモデルより相対で 9.2%、絶対値で 2.3 点上がった。この値は三つの基礎モデルと五つの分野を等しい重みで平均したものである。
• 単一の分野での相対的な伸びは、最大で 63% だった。これは Ministral-3-3B の医学の結果である。
• さらなる分析では、エージェントを動かすハーネスが、それが動かすモデルと同じくらい結果を左右した。
• エージェントごとに、固有のデータ選択の傾向が保たれた。

相対の 9.2% と絶対の 2.3 点が併記されていることには意味がある。相対値は出発点の点数によって大きさが変わるため、両方を見なければ伸びの程度を判断できない。最大の 63% は平均とは別の、一つのモデルと一つの分野の組み合わせについての値である。

4. 具体例で見る

社内の文書支援に使うモデルを、エージェントに事後学習させる運用を考える。ここでの例は説明のための仮定であり、論文の実験ではない。

5. 何が新しくないか／限界はどこか

エージェントに機械学習の工程を任せる試みや、評価を取り置いて過剰適合を確かめる考え方は新しくない。当サイトで以前に取り上げた RSI Arena も、エージェントが事後学習を担う実験だった^[4]。この論文の特徴は、多分野で測ることとデータ以外を固定することにある。読むうえでの注意点は次のとおりである。

• 自己改善そのものではない。abstract によれば、エージェントが手を加えるのは出発点の言語モデルであり、エージェント自身ではない。著者らも、再帰的自己改善の評価に向かう一歩と位置づけている。
• データの選択しか試されていない。データ以外を固定したので比較はしやすいが、モデルの構造や学習手順を選ぶ力は、この環境では測られない。
• 後退の程度が分からない。abstract は分野間の比較の必要を強調するが、報告された数字は平均と最大の伸びであり、分野ごとの後退の幅は書かれていない。
• ばらつきが分からない。複数のシードで実行したとあるが、シード間の差や統計的な検討は abstract には示されていない。
• 第三者による再現は現時点で難しい。リポジトリは、ベンチマークのファイルがこの公開には含まれていないと説明している^[2]。
• システムの順位は、この比較の中での話である。比べられたのは三つのシステムだけであり、ハーネスとモデルの寄与についての主張も、条件を含めて abstract だけでは確かめられない。なお、本記事は Anthropic の Claude により執筆されており、最も成績が良いと報告されたシステムと提供元が同じである。そのため、この順位については abstract の記述にとどめた。

6. この主題が今なぜ束になっているか

選定の記録では、束の大きさは 2 である。upvote は 12、コメントは 2、GitHub のスターは 2 で、立った系統は束だけだった。これらの数字は話題性の目安にすぎず、結果の正しさや重要性を示すものではない。読者の票も実装者の反応も少なく、二本の束から主題の立ち上がりを語るのは難しい。

同じ束に入ったのが、Upcycling Language Models for Multiple Specialized Domains である^[3]。この論文は、一つのモデルを複数の専門分野に合わせるときに、分野に合う部分だけを選んで更新する構造を提案している。ParetoRSI-Gym がデータの選択を変えるのに対し、こちらはモデルの構造を変える。共通するのは、一つのモデルを複数の分野でどう伸ばすかという問いである。二本の間に直接のつながりがあるとは、abstract の範囲では言えない。

7. 製薬・規制の現場から見ると何が接続するか

接続するのは、評価の組み方である。製薬の文書業務では、医学の知識だけでなく、統計の読み取りや規制文書の表現も同じモデルに求められる。ある分野の点数が上がった更新を採るかどうかを、分野ごとの結果で判断するという枠組みは、そのまま社内評価の設計に持ち込める。エージェントが学習中に見る評価と、採用を判断する評価を分けることも同様である。

医学で 63% という数字は、読み方に注意が要る。これは特定のモデルでの相対値であり、ベンチマーク上の変化である。臨床の場面で正しく答えられるようになったことを示してはいない。FDA の草案指針も、AI の信頼性を、使用の文脈ごとに評価する枠組みを示している^[5]。特定の用途での根拠は、その用途に即して別に集める必要がある。

変更の記録にも接続する。データ以外を固定し、変更できない設定を明示するという作りは、何を変えたから結果が変わったのかを追えるようにする工夫である。ただし、この論文は規制上の要件への適合を検討しておらず、ここから医療情報の質や患者の安全が向上するとは言えない。

更新の判断では、平均の伸びだけでなく、分野ごとの変化と、エージェントが見ていない評価の結果を確かめる。