IA e os Problemas Difíceis do Mundo · Física · arXiv · 2026-10-22
Até que ponto modelos de fundação podem ser destilados para uma etiquetagem de jatos eficiente?
Título original: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
O estudo examina até que ponto modelos fundacionais podem ser destilados em redes pequenas para a classificação de jatos no Grande Colisor de Hádrons, onde os experimentos impõem limites rigorosos ao custo de inferência. Seis professores, diferentes em arquitetura, simetria e pré-treinamento, incluindo dois modelos fundacionais, foram destilados em cinco pequenos alunos, e todo professor melhorou todo aluno, com o ganho dependendo principalmente da força do professor. Um L-GATr-slim destilado com 20 mil parâmetros supera todos os classificadores de jatos publicados treinados do zero a uma fração do custo de inferência dos professores, e, com dois mil parâmetros, iguala o ParT, um modelo com mil vezes mais parâmetros.