La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-26
Evaluación de la capacidad de aprendizaje de los Transformers sobre la sucesión aritmética de árboles con raíz
Título original: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
El estudio se pregunta si un transformer puede aprender la secuencia determinista de árboles con raíz generada por la factorización prima iterada de los números naturales. Un modelo de estilo GPT-2 entrenado desde cero con los primeros 10^11 elementos alcanzó una precisión por palabra de aproximadamente 0.4 en la predicción del siguiente token y de tokens enmascarados, por encima de una línea base de modelo oculto de Márkov, y se mantuvo estable en bloques de prueba de 10^13 a 10^15. La verosimilitud del modelo también distinguió el texto aritmético de controles que conservan las frecuencias de los tokens pero no su orden, y de secuencias con más de tres enteros libres de cuadrados consecutivos, algo que la aritmética prohíbe.