AI与世界难题 · 医学与药物研发 · arXiv · 2026-10-20
同一条路径，不同的行走：循环与堆叠 Transformer 编码器在 12 导联心电图上的机制比较
原标题: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
权重复用的循环 Transformer 因参数效率而日益得到采用，但循环与堆叠架构之间在表征和动力学上的差异一直未被刻画。作者在相同训练协议下训练了 bViT（将一个权重绑定的模块应用 L 次）和一个标准 ViT，对来自 PTB-XL 数据集的 12 导联心电图进行分类，发现 bViT 在参数减少 8.9 倍的情况下达到了与 ViT 相当的准确率。两者都以等效的规范顺序构建了可比的潜在表征，但其动力学有所不同：bViT 表现出更小的步长和患者间敏感性，且在数据流形之外行为接近中性，而 ViT 则表现出表征维度坍缩和分布外特征扩张。