L'IA face aux grands problèmes du monde · Médecine et découverte de médicaments · arXiv · 2026-10-20
Même chemin, marche différente : une comparaison mécanistique des encodeurs Transformer bouclés et empilés sur l'ECG à 12 dérivations
Titre original: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Les Transformers récurrents qui réutilisent leurs poids sont de plus en plus adoptés pour l'efficacité paramétrique, mais les différences représentationnelles et dynamiques entre les architectures bouclées et empilées sont restées non caractérisées. Les auteurs entraînent bViT, qui applique un même bloc à poids partagés L fois, ainsi qu'un ViT standard sur la classification d'ECG à 12 dérivations à partir du jeu de données PTB-XL, selon des protocoles d'entraînement identiques, constatant que bViT atteint une précision équivalente à celle du ViT malgré une réduction des paramètres d'un facteur 8.9x. Les deux construisent des représentations latentes comparables dans un ordre canonique équivalent, mais leurs dynamiques diffèrent : bViT présente des pas plus petits et une sensibilité inter-patients avec un comportement quasi neutre hors de la variété des données, tandis que le ViT exhibe un effondrement de la dimensionnalité des représentations et une expansion des caractéristiques hors distribution.