AI اور دنیا کے مشکل مسائل · طبیعیات · arXiv · 2026-10-22

مؤثر جیٹ ٹیگنگ کے لیے فاؤنڈیشن ماڈلز کتنے دور تک ڈسٹل کیے جا سکتے ہیں؟

اصل عنوان: How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?

مطالعہ جائزہ لیتا ہے کہ لارج ہیڈرون کولائیڈر پر جیٹ ٹیگنگ کے لیے فاؤنڈیشن ماڈلز کو کس حد تک چھوٹے نیٹ ورکس میں ڈسٹل کیا جا سکتا ہے، جہاں تجربات انفرنس کی لاگت پر سخت حدود عائد کرتے ہیں۔ فن تعمیر، تقارن اور پری ٹریننگ میں مختلف چھ اساتذہ، جن میں دو فاؤنڈیشن ماڈلز شامل تھے، کو پانچ چھوٹے شاگردوں میں ڈسٹل کیا گیا، اور ہر استاد نے ہر شاگرد کی کارکردگی بہتر بنائی، اور یہ بہتری بنیادی طور پر استاد کی مضبوطی پر منحصر تھی۔ 20 ہزار پیرامیٹرز والا ڈسٹل شدہ L-GATr-slim شروع سے تربیت یافتہ ہر شائع شدہ جیٹ ٹیگر سے بہتر کارکردگی رکھتا ہے، اور وہ بھی اساتذہ کی انفرنس لاگت کے محض ایک چھوٹے سے حصے پر؛ جبکہ دو ہزار پیرامیٹرز کے ساتھ یہ ParT سے میل کھاتا ہے، جو ایک ایسا ماڈل ہے جس میں اس سے ہزار گنا زیادہ پیرامیٹرز ہیں۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →