AI na Matatizo Magumu ya Ulimwengu · Fizikia · arXiv · 2026-10-22
Je, Modeli za Msingi Zinaweza Kunyunyuzwa hadi Kiwango Gani kwa Utambulishaji wa Jeti wenye Ufanisi?
Kichwa asilia: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
Utafiti unachunguza hadi kiasi gani mifano ya msingi (foundation models) inaweza kudistiliwa kuwa mitandao midogo kwa ajili ya utambuzi wa jeti (jet tagging) katika Large Hadron Collider, ambako majaribio huweka mipaka mikali ya gharama za inference. Walimu sita wanaotofautiana kwa muundo, ulinganifu na mafunzo ya awali, ikiwemo mifano miwili ya msingi, walidistiliwa kuwa wanafunzi watano wadogo, na kila mwalimu aliboresha kila mwanafunzi, huku ongezi likitegemea hasa nguvu ya mwalimu. L-GATr-slim iliyodistiliwa yenye parameta elfu 20 inazidi kila kitambuzi cha jeti kilichochapishwa kilichofundishwa kutoka mwanzo, kwa sehemu ndogo tu ya gharama za inference za walimu, na kwa parameta elfu mbili inafikia kiwango cha ParT, mfano wenye parameta mara elfu moja zaidi.