IA e os Problemas Difíceis do Mundo · Medicina e descoberta de medicamentos · arXiv · 2026-10-20
Mesmo caminho, caminhada diferente: uma comparação mecanicista de codificadores transformer em loop e empilhados em ECG de 12 derivações
Título original: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Transformers recorrentes que reutilizam seus próprios pesos são cada vez mais adotados pela eficiência de parâmetros, mas as diferenças representacionais e dinâmicas entre arquiteturas em loop e empilhadas permaneciam sem caracterização. Os autores treinam o bViT, que aplica um único bloco com pesos atrelados L vezes, e um ViT padrão na classificação de ECG de 12 derivações a partir do conjunto de dados PTB-XL sob protocolos de treinamento idênticos, constatando que o bViT alcança paridade de acurácia com o ViT apesar de uma redução de 8.9x no número de parâmetros. Ambos constroem representações latentes comparáveis em uma ordem canônica equivalente, mas suas dinâmicas diferem: o bViT mostra tamanhos de passo menores e sensibilidade entre pacientes, com comportamento quase neutro fora da variedade de dados, enquanto o ViT exibe colapso da dimensionalidade das representações e expansão de características fora da distribuição.