AIが解く世界の難問 · 医学・創薬 · arXiv · 2026-10-20
同じ経路、違う歩み：ループ型と積層型Transformerエンコーダの12誘導心電図における機構的比較
原題: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
重みを再利用するループ型Transformerはパラメータ効率の高さから広く採用されつつあるが、積層型との表現やダイナミクスの違いは明らかにされていなかった。重み結合ブロックをL回適用するbViTと標準的なViTを、PTB-XLデータセットの12誘導心電図分類タスクで同一の学習条件のもとで訓練し、bViTが約8.9倍のパラメータ削減にもかかわらずViTと同等の精度を達成することを確認した。潜在表現は同等の正準順序で類似して構築される一方、ダイナミクスは異なり、bViTはステップサイズと患者間感度が小さくデータ多様体から離れるとほぼ中立な挙動を示すのに対し、ViTは表現の次元縮小と分布外での特徴拡大を示した。