問題設定：観察から学習へ

再帰的自己改善（RSI）という概念は、近年のエージェント研究で盛んに言及されている。だが多くの文献では、それが「何か」は述べられても、「どのように実現するのか」は曖昧なままだった。NeoHorse-1の著者らは、この曖昧さに正面から向き合っている。RSIが成立するには、三つの要素を結びつける具体的な仕組みが必要だと彼らは主張する。第一に、システムが自身の能力需要を記録し、それに応じた層（サービス層）を選択する。第二に、その選択と結果を学習データに変換する。第三に、そのデータから得た評価フィードバックを、次の学習の配合へ反映させる。この三つの環が一度ではなく、何度も回る状態が、再帰的自己改善の姿だという考え方である。

ルーティング・ハーネスによる能力観察

システムの中核は、異種のモデルプールと「インテリジェント・ルーティング」と呼ばれる選別機構である。ユーザーの各ターンで、システムはその質問・指示に対して、複数の候補モデルのうちどれを使うかを決める。その際、単なる計算効率ではなく、予測された能力需要を基準に選ぶ。簡単な質問には軽いモデル、複雑な推論が要る質問には重いモデル、という具合だ。この選択記録、実際に選ばれたサービス層、そして実際の対話結果が、すべて一つの訓練例として保存される。

この記録は単なる質問応答ペアではない。推論の過程、ツール呼び出し、ハーネスの文脈がすべて含まれる。その後、構造的検証、六次元の意味的評価、サブシーン単位のラベル付けを経る。この多段階の検証を通じて、「本当に学ぶ価値のある」訓練例だけが次のステップへ進む。

著者らの思想がここに明確に現れる。完全に自動化された学習も、人間によって手作業で選別された学習も、どちらも不十分だと言わんばかりに。ルーティング・ハーネスとは、機械と人間の判断基準が交差する場であり、その交差から初めて「良い訓練例」が生まれるという見立てなのだ。

三段階カリキュラムによる段階的改善

訓練例が集まると、それらは三段階のカリキュラムに組織される。ルーティング信号が、教師のいない学習から教師あり学習へ、さらに学生生成応答の監督へと進む段階を定める。最初の段階では、単純なパターン認識に注力する。次の段階では、ルーティング信号に基づいた教示的な微調整が行われる。最後の段階では、学生モデル自身が生成した応答を、同じ段階的な進度の中で教師が監督する——ここでは、「学びの進み具合」そのものが共有されている。

この設計の狙いは明白である。単に大量のデータで訓練するのではなく、モデルの現在の能力に適合した難易度で、段階的に挑戦を増やしていくという古典的な学習原則をコンピュータシステムに実装するのだ。

能力主導の配合戻し

後学習の最後のピースが、能力主導の配合（capability-guided allocation）である。評価フィードバックが集まると、それは単に「このモデルはこのタスクで良好」という記録にはとどまらない。その評価が、次の訓練混合の構成へ直結する。能力が必要とされたタスク、改善の余地があったタスク、その情報密度がすべて計算され、次のラウンドではどのデータをどれだけ混ぜるかが決まる。

これはカリキュラム学習の進化形である。従来のカリキュラム学習は、あらかじめ設計者が難易度を決めるか、統計的な尺度で決める。ここでは、「システムが学べたこと」と「学べなかったこと」の差が、そのまま次の学習計画になるのだ。

従来の後学習（SFT）：高品質な訓練データを集め、それで一度訓練して終わり。

NeoHorse-1の後学習：訓練→評価→分析→再配合→訓練、という環が連続して回る。

実験結果：4B と 9B の成績

著者らは十一のベンチマークで実験を行った。対象は、エージェント型ベンチマーク、ツール使用、コーディング、指示遵従の領域である。

結果は以下の通りだ。4Bモデルでは、マクロ平均スコアが 58.94 から 64.87 へ上昇した。9Bモデルでは 65.60 から 69.04 へ上昇した。特に注目すべきは、後学習を受けた4Bモデルが、基礎となる9Bモデルとのギャップを大きく縮めるという事実である。この結果は、後学習の効果が単なる「スコア上昇」ではなく、小さなモデルが大きなモデルに近づく可能性を示唆している。

ただし重要な限定を付すべき点がある。これらの成績は、プレプリント段階での報告であり、査読を経た最終公開前の形式である。著者らの主張が、独立した検証でどこまで支持されるかはまだ確認されていない。

再帰的自己改善という夢と現実

NeoHorse-1を見ていて思うのは、その野心と誠実さのバランスである。著者らは「再帰的自己改善」という大きなビジョンを掲げながらも、それが何であるかをきわめて具体的に定義しようとしている。推論の記録、ツール呼び出し、段階的な訓練——すべてが実装可能な形態で提示される。

一方で、「再帰的」という言葉の意味をどこまで厳密に解釈するかは、依然として議論の余地がある。著者らが示しているのは、一度の訓練ラウンド内で、複数の改善環が回転する仕組みである。だが、何度もの独立した反復を通じて、モデル自身が自分の学習プロセスを改設計するような、より深い意味での「再帰」が実現しているかは、現時点では不明である。

エージェント型モデルの時代背景

なぜ、エージェント型の後学習というテーマが、今、複数の研究チームの関心を集めているのか。背景には、エージェントが単なる言語生成ツールから、自律的に行動し、判断を下すシステムへ進化しつつあるという現実がある。従来のモデルは、与えられた入力に対して最確の応答を生成することが主な役割だった。エージェント型モデルは異なる。複数のツールを組み合わせ、不確実な状況で意思決定を行い、失敗から学ぶ必要がある。

このような複雑な行動空間では、単純な教示的微調整では対応しきれない。むしろ、モデルが「自分は何ができるのか」を知ることが、次の成長の基盤になる。NeoHorse-1は、この新しい要求に対する一つの回答提示である。ルーティング・ハーネスというインフラを通じて、モデルが自身の能力限界を観察し、その観察が学習方針を動かす——この流れが、今後のエージェント研究の一つの方向性を示唆しているのだ。