La IA y los problemas difíciles del mundo · Medicina y descubrimiento de fármacos · arXiv · 2026-10-20
Mismo camino, distinta forma de andar: una comparación mecanicista de codificadores transformer en bucle y apilados en ECG de 12 derivaciones
Título original: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Los Transformers recurrentes que reutilizan sus pesos se adoptan cada vez más por su eficiencia de parámetros, pero las diferencias de representación y dinámica entre las arquitecturas en bucle y las apiladas habían permanecido sin caracterizar. Los autores entrenan bViT, que aplica un único bloque con pesos compartidos L veces, y un ViT estándar en la clasificación de ECG de 12 derivaciones a partir del conjunto de datos PTB-XL bajo protocolos de entrenamiento idénticos, y encuentran que bViT alcanza una precisión equivalente a la de ViT a pesar de una reducción de parámetros de 8.9x. Ambos construyen representaciones latentes comparables en un orden canónico equivalente, pero sus dinámicas difieren: bViT muestra tamaños de paso y sensibilidad interpaciente menores, con un comportamiento casi neutro fuera de la variedad de datos, mientras que ViT exhibe un colapso de la dimensionalidad de las representaciones y una expansión de características fuera de la distribución.