ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-26
Проверка обучаемости трансформеров на арифметической последовательности корневых деревьев
Оригинальное название: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
В исследовании задаётся вопрос, может ли трансформер выучить детерминированную последовательность корневых деревьев, получаемую итерированным разложением натуральных чисел на простые множители. Модель в стиле GPT-2, обученная с нуля на первых 10^11 элементах, достигла пословной точности около 0,4 в предсказании следующего и маскированного токена, превзойдя базовую модель на основе скрытой марковской модели, и сохраняла стабильность на тестовых блоках от 10^13 до 10^15. Правдоподобие модели также позволяло отличать арифметический текст от контрольных последовательностей, сохраняющих частоты токенов, но не их порядок, и от последовательностей с более чем тремя подряд идущими целыми числами без квадратов, что арифметика запрещает.