AI与世界难题 · 物理学 · arXiv · 2026-10-22
基础模型能被蒸馏到何种程度以实现高效的喷注标记？
原标题: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
该研究考察了在大型强子对撞机上，基础模型能在多大程度上被蒸馏为用于喷注标记的小型网络——该处的实验对推理成本施加了严格限制。六个在架构、对称性和预训练方面各不相同的教师模型（其中包括两个基础模型）被蒸馏到五个小型学生模型中，每个教师模型都提升了每个学生模型的性能，而提升幅度主要取决于教师模型的强弱。经过蒸馏、参数量为2万的 L-GATr-slim 在推理成本仅为教师模型一小部分的情况下，胜过了所有已发表的从头训练的喷注标记器；参数量为2000时，它可媲美参数多出一千倍的 ParT。