La IA y los problemas difíciles del mundo · Física · arXiv · 2026-10-22
¿Hasta dónde se pueden destilar los modelos fundacionales para un etiquetado de jets eficiente?
Título original: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
El estudio examina hasta qué punto los modelos fundacionales pueden destilarse en redes pequeñas para el etiquetado de jets en el Gran Colisionador de Hadrones, donde los experimentos imponen límites estrictos al costo de inferencia. Seis profesores que difieren en arquitectura, simetría y preentrenamiento, incluidos dos modelos fundacionales, se destilaron en cinco estudiantes pequeños, y cada profesor mejoró a cada estudiante, con una ganancia que dependió principalmente de la fuerza del profesor. Un L-GATr-slim destilado con 20 mil parámetros supera a todos los etiquetadores de jets publicados entrenados desde cero con una fracción del costo de inferencia de los profesores, y con dos mil parámetros iguala a ParT, un modelo con mil veces más parámetros.