AI dan Masalah-Masalah Sulit Dunia · Fisika · arXiv · 2026-10-22
Seberapa Jauh Model Foundation Dapat Didistilasi untuk Jet Tagging yang Efisien?
Judul asli: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
Studi ini mengkaji sejauh mana model fondasi (foundation models) dapat didistilasi menjadi jaringan-jaringan kecil untuk penandaan jet (jet tagging) di Large Hadron Collider, tempat eksperimen memberlakukan batasan ketat pada biaya inferensi. Enam guru yang berbeda dalam arsitektur, simetri, dan pelatihan awal, termasuk dua model fondasi, didistilasi menjadi lima murid kecil, dan setiap guru memberikan perbaikan pada setiap murid, dengan besarnya perbaikan bergantung terutama pada kekuatan guru. L-GATr-slim hasil distilasi dengan 20 ribu parameter mengungguli setiap jet tagger yang pernah dipublikasikan dan dilatih dari nol pada hanya sebagian kecil biaya inferensi para guru, dan dengan dua ribu parameter model ini menyamai ParT, sebuah model dengan seribu kali lebih banyak parameter.