AI 與世界的難題 · 物理學 · arXiv · 2026-10-22
基礎模型可被蒸餾到何種程度以實現高效的噴流標記？
原標題: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
這項研究探討基礎模型能在多大程度上被蒸餾成小型網路，以用於大強子對撞機的噴流標記，因為當地的實驗對推論成本施加嚴格限制。六個在建構架構、對稱性與預訓練方面各異的教師模型，其中包括兩個基礎模型，被蒸餾成五個小型學生模型，結果每個教師模型都提升了每個學生模型的表現，且增益主要取決於教師模型的強弱。一個擁有 20,000 個參數的蒸餾版 L-GATr-slim，僅需教師模型推論成本的一小部分，就能超越所有已發表的從零訓練噴流標記器；而在只有 2,000 個參數時，它仍可媲美 ParT——一個參數數量多達其一千倍的模型。