KI und die schwierigen Probleme der Welt · Physik · arXiv · 2026-10-22
Wie weit lassen sich Foundation Models für effizientes Jet-Tagging destillieren?
Originaltitel: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
Die Studie untersucht, wie weit sich Foundation-Modelle in kleine Netze für das Jet-Tagging am Large Hadron Collider destillieren lassen, wo die Experimente strenge Grenzen für die Inferenzkosten setzen. Sechs Lehrer mit unterschiedlicher Architektur, Symmetrie und Vortraining, darunter zwei Foundation-Modelle, wurden in fünf kleine Schüler destilliert, und jeder Lehrer verbesserte jeden Schüler, wobei der Zugewinn hauptsächlich von der Stärke des Lehrers abhing. Ein destilliertes L-GATr-slim mit 20.000 Parametern übertrifft jeden veröffentlichten Jet-Tagger, der von Grund auf trainiert wurde, bei einem Bruchteil der Inferenzkosten der Lehrer, und mit 2.000 Parametern erreicht es ParT, ein Modell mit tausendmal so vielen Parametern.