AI na Matatizo Magumu ya Ulimwengu · Tiba na ugunduzi wa dawa · arXiv · 2026-10-20
Njia ileile, mwendo tofauti: ulinganisho wa kimakanika kati ya transformer encoders za looped na za stacked kwenye ECG ya waya 12
Kichwa asilia: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Recurrent Transformers zinazotumia upya uzito wake zinaazimuliwa zaidi na zaidi kwa ajili ya ufanisi wa parameta, lakini tofauti za uwakilishi na za kidinamikati kati ya usanifu wa looped na wa stacked hazijawahi kuchunguzwa. Waandishi hufundisha bViT, inayotumia block moja yenye uzito uliounganishwa mara L, pamoja na ViT ya kawaida, kwenye uainishaji wa ECG ya waya 12 kutoka kwenye dataset ya PTB-XL chini ya itifaki za mafunzo zinazofanana kabisa, wakagundua kuwa bViT inafikia usawa wa usahihi na ViT licha ya kupungua kwa parameta kwa 8.9x. Zote mbili zinajenga uwakilishi wa latent unaofanana katika mpangilio wa canonical unaolingana, lakini dinamikati zao zinatofautiana: bViT inaonyesha ukubwa mdogo wa hatua na sensitiviti kati ya wagonjwa pamoja na tabia karibu-na-utabifu nje ya manifold ya data, huku ViT ikionyesha kupungua kwa vipimo vya uwakilishi na upanuzi wa sifa za nje ya usambazaji.