AI 與世界的難題 · 醫學與藥物探索 · arXiv · 2026-10-20
同一路徑,不同的走法:迴圈式與堆疊式 Transformer 編碼器在 12 導程心電圖上的機制比較
原標題: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
重複使用權重的遞迴 Transformer 因參數效率而日益受到採用,但迴圈式與堆疊式架構之間在表徵與動態上的差異一直未被刻劃。作者在相同的訓練協定下,以來自 PTB-XL 資料集的 12 導程心電圖分類,訓練了 bViT(將一個權重綁定的區塊套用 L 次)與標準 ViT,發現 bViT 在參數減少 8.9 倍的情況下,準確率仍與 ViT 相當。兩者都以等效的規範順序建立可比較的潛在表徵,但兩者的動態不同:bViT 顯示較小的步長與病患間敏感性,並在資料流形之外呈現近乎中性的行為;ViT 則呈現表徵維度坍縮與分布外特徵擴張。