1. 何が問題か──知っているのに動かせない

大規模言語モデルを骨格にした研究エージェントは、論文の手法を理解し、コードを生成し、実験を回すところまでは到達している。しかし著者らが「operational knowledge(操作知識)」と呼ぶ層が欠けていると指摘する。手法を知っていることと、それを動かせることとの間にあるギャップだ。

そのノウハウは消えてしまったわけではない。GitHubのリポジトリやREADME、issueのやり取りに散らばっている。ただし人間向けに書かれていて量が多く、タスクの最中に全部読み込むには大きすぎる。著者らは、この知識が一度蒸留されてコンパクトな形になれば、タスクごとに再発見する必要がなくなると述べている。

2. 提案──リポジトリを「スキル」に蒸留する

著者らが提案するDisCo(Distillation and Composition)は、2つの経路でスキルを作る研究エージェントだ。

前者を大規模に適用した結果がAREX-Skill Libraryで、1,000の機械学習リポジトリから5,000以上の検証済みスキルを抽出し、20領域・178の能力ファミリに整理したと著者らは報告している。スキルはリポジトリの要約ではなく、実際に動作を検証した上で格納されるという点が、単なるドキュメント要約と異なるとされる。

3. どれだけ変わったか──abstractの数字

GPT-5.5をバックボーンとし、研究ハーネスと下流の実行予算を固定した条件で、スキルを持つエージェントと持たないエージェントを比較した結果が以下だ(いずれもabstractに記載された数字)。

著者らは、これらの向上は蒸留された操作コンテキストの追加によるものだと述べている。モデル自体やハーネスの変更ではない、という点が主張の核だ。ベンチマーク間で向上幅に大きな差がある点も注目に値する。MLE-benchでの134.3%と、FrontierCSでの9.2%はかなり開きがあり、タスクの性質によってスキルの効果が異なることを示唆している。

ただしこの論文はプレプリントであり、査読を経ていない。数字の再現性は第三者の検証を待つ必要がある。

4. 例えるなら──料理本とまかないノート

料理本(論文・教科書)

「鶏肉を決められた温度と時間で焼く」と書いてある。手順は正しい。だがオーブンの癖、肉の厚みによる加減、焦げ始めたときの対処法は書かれていない。

まかないノート(スキル)

先輩が書き残した走り書き。「このオーブンは奥が熱い、15分で一度向きを変えろ」「皮がパリッとしないときはグリルに切り替えて2分」。短いが、これがあると失敗しない。

DisCo がやっていることは、世界中のキッチン(リポジトリ)に散らばるまかないノートを集めて、料理人(エージェント)がいつでも引き出せる棚に並べる作業だ。ただし、まかないノートが正しいかどうかは、そのキッチンが今も営業しているかどうかにかかっている。

5. 何が新しくないか・限界はどこか

エージェントに外部知識を与えて性能を上げるというアイデア自体は、RAG(検索拡張生成)やツール利用の延長線上にある。新しいのは「操作知識」という層を名前をつけて切り出し、リポジトリ単位で体系的に蒸留した点だ。

限界も見える。第一に、スキルの品質はリポジトリの品質に依存する。メンテナンスされていないリポジトリから蒸留したスキルは、誤った手順を正しいものとして固定してしまうリスクがある。第二に、abstractの範囲ではスキルの更新・廃棄の仕組みについて詳しく述べられていない。ソフトウェアは変わる。半年前のスキルが今日も正しい保証はない。第三に、ベンチマーク(MLE-bench、PaperBenchなど)での向上が実際の研究生産性にどう翻訳されるかは、この論文の範囲では示されていない。第四に、蒸留元のリポジトリは1,000という数だが、機械学習エコシステム全体の中でどの程度の網羅性があるのかはabstractからは判断できない。

6. なぜ今この主題が束になっているか

AI がAI の研究を加速する「AI4AI」という動きが、ここ数ヶ月で目に見えて増えている。エージェントが論文を読み、実験を設計し、コードを書く。selection.json のキーワードにも「ai4ai」「autonomous agents」「machine-learning research」が並ぶ。背景には、基盤モデルの推論能力が一定の水準に達し、次のボトルネックが「推論力」から「実行力」に移りつつあるという事情がある。DisCo はその実行力を、人間が蓄積してきたノウハウの蒸留で埋めようとしている。

Hugging Face上で534 upvotesを集め、GitHubリポジトリは245 starsを得ている。ただしこれらは研究コミュニティの関心度を示す指標であって、論文の主張の正しさや学術的重要性を示すものではない。

7. 製薬・規制の現場から見ると

製薬の実務にも「操作知識」は山ほどある。統計解析ソフトの設定ファイル、電子申請システムの入力手順、安定性試験データの整理ルール。これらはマニュアルに書かれていても、実際に動かすには経験者の補足が要る。DisCo の構造がそのまま製薬に転用できるわけではないが、「ノウハウを蒸留してエージェントに渡す」という発想は、定型業務の自動化を考える上での参照点になる。

ただし製薬の文脈では、蒸留されたスキルの正確性と最新性の保証が不可欠だ。規制要件は頻繁に改訂される。古いスキルが適用されれば、単なる効率低下ではなく規制違反につながりうる。自動化の前に、スキルのライフサイクル管理が先に来る。これは技術の問題というより、業務プロセス設計の問題だ。