1. 一つの作業環境では、領域をまたぐ仕事を回しきれない

大規模言語モデルを AI エージェントとして働かせるには、モデルの周りに道具立てが要る。使える道具、指示文、作業の進め方の制御、途中経過の記憶の持ち方などである。この道具立てをまとめてハーネスと呼ぶ。同じモデルでも、ハーネスの出来によって仕事の質は大きく変わる。

この論文は、エージェントの仕事が一つの領域で完結する短い作業から、複数の領域をまたいで長く続く作業へ移りつつあることを出発点にしている。そこで二つの問題が出てくる。ハーネスが複雑になるほど人手で設計するのが難しくなること、そして特定の領域に合わせて作り込むほど、そのハーネスがほかの領域で使えなくなることである。[1]

著者らはここから、問いの立て方を変えるべきだと主張する。一つの領域で強いハーネスを作り込むことではなく、領域ごとのハーネスを自動で作り、経験で改良し、領域をまたいで束ねることを問題にする。一次情報は arXiv に公開されたプレプリントであり、査読は経ていない。

2. 提案の芯は、モデルとハーネスの組を一つの部品として扱うこと

Raven は「ハーネスのためのハーネス」と名づけられた、公開ソースのマルチエージェントの仕組みである。手法の芯は、実行できるモデルとハーネスの組を、組み合わせ可能な一つの部品として扱うことにある。特定のモデルと領域に合わせたハーネスを自動で組み立て、使いながら作り替えていく。

部品を束ねる役は Host Agent が担う。目標を小さな作業に分け、それぞれを得意なエージェントに割り当て、作業の前後関係を調整し、結果をまとめる。著者らはこの全体を All-Domain Collaboration Network と呼んでいる。

経験の扱いにも仕組みがある。Host Agent の記録と、EverOS と呼ばれる仕組みが作業をまたいで経験を保存し、Skill Forge がその経験を再利用できる手順の形に整える。過去の仕事で得たやり方が、次の仕事で呼び出せる手順として蓄えられていく、という設計である。

3. abstract の範囲で示されたこと

著者らは理論面で、このような組み合わせによって、共通の資源の予算の下でも、個々のエージェントが単独で確実にこなせる作業の範囲を超えられるための十分条件を示したと述べている。十分条件であって、組み合わせればいつでも範囲が広がると示したわけではない。条件の中身は abstract には書かれていない。

実験面では、複雑で長く続く作業において、Raven が最先端のエージェントシステムを大きく上回ったと報告している。ただし、どのベンチマークで、どのシステムと、どの程度の差で比べたのかは abstract に書かれていない。「大きく上回った」の幅は、abstract だけでは確かめられない。

4. 具体例で見る ── 文献調査から資料作成までを一つの依頼で回す場合

「ある疾患領域の最近の文献を集めて要点をまとめ、社内説明用の表に整えてほしい」という依頼を、エージェントに任せる場面を考える。

一つのハーネスで回す場合

一つのエージェントが、検索、読解、要約、表の作成までを同じ道具立てで続けて行う。どこかの工程に向かない道具立てがあっても、その工程だけ取り替えることはできない。作業の手順は人が設計したもので、過去の依頼から学んで変わることはない。

Raven の考え方で回す場合

Host Agent が依頼を「文献検索」「要点の抽出」「表の作成」に分け、それぞれに合わせたハーネスを持つエージェントに渡し、順番を調整して結果をまとめる。前回の依頼で得たやり方は手順として保存され、次の依頼で呼び出される。そのぶん、ある時点の出力がどの手順の版から作られたのかを、後から追える形で記録しておく必要が出てくる。

この比較で見ておきたいのは、右の方式では便利さと引き換えに、仕組みそのものが使うたびに変わるという点である。結果を確かめる側から見ると、確かめる対象が固定されていない。

5. 新しくない部分と、abstract から読み取れない限界

複数のエージェントに役割を分けて会話させる枠組みは、すでに公開ソースで広く使われている。[5]経験を実行可能な技能として蓄え、後の作業で呼び出す設計も、ゲーム環境で動くエージェントの研究などで示されてきた。[4]目標を分解して得意な担当に割り振る調整役という構成も、それ自体は新しくない。本論文の寄与は、ハーネスそのものを自動で作り替える対象にし、モデルとハーネスの組を部品として領域をまたいで束ねることを一つの仕組みにまとめ、その組み合わせが効く条件を理論として示そうとした点にある、と読める。

限界も大きい。第一に、前節のとおり、実験の条件も数値も abstract には一切ない。第二に、自動で作られ、経験で変わっていくハーネスが、いつ、どう変わったかを人が追えるのかは示されていない。第三に、Skill Forge が手順として蓄える経験に誤りが入った場合、それが次の作業に持ち越される経路について、abstract の範囲では扱いが見えない。第四に、組み合わせが単独のエージェントより高くつく場合の費用の比較も示されていない。理論が「共通の資源の予算の下で」という条件を置いている以上、実際の費用は重要な比較の軸になる。

6. この主題が今なぜ取り上げられているか ── 束ではなく一本の論文として

今回の収集では、この論文は単独で選ばれている。束の大きさは 1 で、同じ問いを扱う別グループの論文は収集の範囲では見つかっていない。設計上の定義に照らせば、これは主題が束で立ち上がった状態ではなく、一本の論文が強く目に留まった状態にあたる。

目に留まった度合いは大きい。論文共有の場で 511 の支持票、公開リポジトリには 5,067 のスターが付いている。[2][3]ただし、著者として挙がっているのは企業名だけで、リポジトリもその企業の組織の下にある。スターは、実際に使える公開ソースの道具として関心を集めていることを示すが、論文の主張、とくに「大きく上回った」という性能の主張が正しいことを示すものではない。

主題としては、ハーネスをどう作り、どう改良するかという問いは、ここしばらく別々の論文で繰り返し扱われており、当サイトでもハーネスの自己改善を扱ったプレプリントを取り上げてきた。本論文はその流れの中で、一つのハーネスを良くすることから、複数のハーネスを束ねることへ問いを移そうとしている。

7. 製薬・規制の現場から見ると何が接続するか

製薬の現場でコンピュータを使った仕組みを業務に入れるときは、その仕組みが意図どおりに動くことを確かめ、確かめた状態を変更管理の下で保つ、という考え方が基本に置かれる。Raven のように、ハーネスが自動で作られ、経験によって作り替えられていく仕組みは、この「確かめた状態」を一つに決めにくい。どの時点のどの版で出力が作られたかを記録し、変更を人が承認する仕組みを外側に用意しない限り、規制のかかる業務にはそのままでは入れにくい。

もう一つの接点は、Skill Forge が経験を手順に変える部分である。現場の手順書は、作った人と承認した人が分かれ、改訂の理由が記録される。経験から自動で生まれる手順は便利だが、誰がその手順を確かめたのかが空白になりやすい。

一方で、作業を分けて得意な担当に割り振り、前後関係を調整して結果をまとめるという Host Agent の役割は、人が行う業務の分担とも重なる。分担した結果を最後に誰が確かめて責任を持つのかを決めておけば、この種の仕組みは調査や下書きの段階で使える余地がある。性能の主張は査読前のもので、数値も示されていない。導入を考える場合は、自社の業務に近い作業で確かめることが前提になる。