AI dan Masalah-Masalah Sulit Dunia · Kedokteran & penemuan obat · arXiv · 2026-10-20
Jalur yang sama, langkah yang berbeda: perbandingan mekanistik encoder transformer looped dan stacked pada ECG 12-lead
Judul asli: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Recurrent Transformer yang menggunakan ulang bobotnya semakin banyak diadopsi demi efisiensi parameter, tetapi perbedaan representasional dan dinamis antara arsitektur looped dan stacked selama ini belum terkarakterisasi. Para penulis melatih bViT, yang menerapkan satu blok weight-tied sebanyak L kali, dan ViT standar pada klasifikasi ECG 12-lead dari dataset PTB-XL dengan protokol pelatihan yang identik, dan menemukan bahwa bViT mencapai paritas akurasi dengan ViT meskipun parameternya berkurang 8.9x. Keduanya membangun representasi laten yang sebanding dalam urutan kanonik yang ekuivalen, tetapi dinamikanya berbeda: bViT menunjukkan ukuran langkah yang lebih kecil dan sensitivitas antar-pasien dengan perilaku mendekati netral di luar manifold data, sementara ViT memperlihatkan keruntuhan dimensi representasi dan ekspansi fitur di luar distribusi.