KI und die schwierigen Probleme der Welt · Medizin & Wirkstoffforschung · arXiv · 2026-10-20
Derselbe Pfad, unterschiedlicher Gang: ein mechanistischer Vergleich von geloopten und gestapelten Transformer-Encodern bei 12-Ableitungs-EKGs
Originaltitel: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Rekurrente Transformer, die ihre Gewichte wiederverwenden, werden aufgrund ihrer Parametereffizienz zunehmend eingesetzt, doch die repräsentationalen und dynamischen Unterschiede zwischen geloopten und gestapelten Architekturen wurden bislang nicht charakterisiert. Die Autoren trainieren bViT, das einen Block mit geteilten Gewichten L-mal anwendet, und einen Standard-ViT auf die Klassifikation von 12-Ableitungs-EKGs aus dem PTB-XL-Datensatz unter identischen Trainingsprotokollen und finden, dass bViT trotz einer Parameterreduktion von 8.9x Genauigkeitsparität mit ViT erreicht. Beide bauen vergleichbare latente Repräsentationen in einer äquivalenten kanonischen Reihenfolge auf, aber ihre Dynamiken unterscheiden sich: bViT zeigt kleinere Schrittweiten und eine Sensitivität zwischen Patienten mit nahezu neutralem Verhalten außerhalb der Datenmannigfaltigkeit, während ViT eine kollabierende Dimensionalität der Repräsentationen und eine Out-of-Distribution-Merkmalsexpansion aufweist.