AI اور دنیا کے مشکل مسائل · طب اور دوا کی دریافت · arXiv · 2026-10-20

ایک ہی راستہ، مختلف چال: 12-لیڈ ECG پر لوپڈ اور اسٹیکڈ ٹرانسفارمر انکوڈرز کا میکانسٹک موازنہ

اصل عنوان: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG

اپنے ویٹس کو دوبارہ استعمال کرنے والے ریکرنٹ ٹرانسفارمرز پیرامیٹر کی کارآمدی کے لیے تیزی سے اپنائے جا رہے ہیں، لیکن لوپڈ اور اسٹیکڈ آرکیٹیکچرز کے درمیان نمائندگی اور حرکیات کے فرق اب تک واضح نہیں کیے گئے تھے۔ مصنفین bViT، جو ایک ویٹ-ٹائیڈ بلاک کو L بار لگاتا ہے، اور ایک معیاری ViT کو PTB-XL ڈیٹا سیٹ سے 12-لیڈ ECG کی درجہ بندی پر ایک جیسے تربیتی پروٹوکول کے تحت تربیت دیتے ہیں، اور پاتے ہیں کہ 8.9x پیرامیٹر میں کمی کے باوجود bViT، ViT کے برابر درستگی حاصل کرتا ہے۔ دونوں ایک مساوی کینونیکیل ترتیب میں مماثل لیٹنٹ نمائندگیاں بناتے ہیں، لیکن ان کی حرکیات مختلف ہیں: bViT چھوٹے اسٹیپ سائز اور بین-مریضی حساسیت دکھاتا ہے اور ڈیٹا مینیفولڈ سے باہر اس کا رویہ قریباً غیر جانبدار رہتا ہے، جبکہ ViT میں نمائندگیوں کی جہتیں منہدم ہوتی ہیں اور ڈسٹری بیوشن سے باہر فیچرز کی توسیع ظاہر ہوتی ہے۔

اصل تحریر پڑھیں ↗

تمام آئٹمز →