ИИ и сложнейшие проблемы мира · Медицина и разработка лекарств · arXiv · 2026-10-20
Тот же путь, другая походка: механистическое сравнение зацикленных и стековых кодировщиков-трансформеров на ЭКГ в 12 отведениях
Оригинальное название: Same path, different walk: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
Рекуррентные трансформеры, повторно использующие свои веса, всё шире применяются ради эффективности параметров, однако различия в представлениях и динамике между зацикленными и стековыми архитектурами оставались неохарактеризованными. Авторы обучают bViT, который применяет один блок со связанными весами L раз, и стандартный ViT для классификации ЭКГ в 12 отведениях из набора данных PTB-XL при идентичных протоколах обучения и обнаруживают, что bViT достигает паритета по точности с ViT несмотря на 8.9-кратное сокращение числа параметров. Оба строят сопоставимые латентные представления в эквивалентном каноническом порядке, но их динамика различается: bViT демонстрирует меньшие размеры шагов и межпациентскую чувствительность с почти нейтральным поведением вне многообразия данных, тогда как ViT проявляет схлопывание размерности представлений и расширение признаков вне распределения.