L'IA face aux grands problèmes du monde · Physique · arXiv · 2026-10-22
Jusqu'où les modèles de fondation peuvent-ils être distillés pour un étiquetage efficace des jets ?
Titre original: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
L'étude examine dans quelle mesure les modèles de fondation peuvent être distillés en petits réseaux pour l'étiquetage des jets au Grand collisionneur de hadrons, où les expériences imposent des limites strictes sur le coût d'inférence. Six enseignants différant par l'architecture, la symétrie et le pré-entraînement, dont deux modèles de fondation, ont été distillés en cinq petits élèves, et chaque enseignant a amélioré chaque élève, le gain dépendant principalement de la force de l'enseignant. Un L-GATr-slim distillé de 20 000 paramètres surpasse tous les étiqueteurs de jets publiés entraînés à partir de zéro pour une fraction du coût d'inférence des enseignants, et avec deux mille paramètres il égale ParT, un modèle comptant mille fois plus de paramètres.