AIが解く世界の難問 · 物理学 · arXiv · 2026-10-22
基盤モデルは効率的なジェットタギングのためにどこまで蒸留できるか
原題: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
LHCにおける機械学習の最重要応用の一つであるジェットタギングを対象に、実験が課す厳しい推論コストの制約の下で、基盤モデルの性能をどこまで小型モデルに蒸留できるかを調べた。アーキテクチャ、対称性、事前学習が異なる6つの教師モデル(うち2つは基盤モデル)を5つの小型生徒モデルに蒸留したところ、すべての教師がすべての生徒の性能を改善し、利得は主に教師の強さに依存した。2万パラメータの蒸留L-GATr-slimはゼロから学習された公開済みの全ジェットタガーを上回り、2000パラメータでも1000倍のパラメータを持つParTに匹敵した。