ИИ и сложнейшие проблемы мира · Физика · arXiv · 2026-10-22
Насколько далеко можно дистиллировать фундаментальные модели для эффективного jet tagging?
Оригинальное название: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
Исследование посвящено тому, насколько полно фундаментальные модели можно дистиллировать в компактные сети для тегирования джетов на Большом адронном коллайдере, где эксперименты накладывают строгие ограничения на стоимость инференса. Шесть учителей, различающихся архитектурой, симметрией и предобучением, включая две фундаментальные модели, были дистиллированы в пять малых учеников, и каждый учитель улучшил каждого ученика, причем прирост зависел главным образом от силы учителя. Дистиллированный L-GATr-slim с 20 тысячами параметров превосходит все опубликованные теггеры джетов, обученные с нуля, при этом затрачивая лишь малую часть стоимости инференса учителей, а с двумя тысячами параметров он сравним с ParT — моделью, число параметров которой в тысячу раз больше.