L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-26
Tester l'apprenabilité par un Transformer de la suite arithmétique des arbres enracinés
Titre original: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
L'étude se demande si un transformer peut apprendre la suite déterministe d'arbres enracinés produite par la factorisation première itérée des entiers naturels. Un modèle de type GPT-2 entraîné à partir de zéro sur les 10^11 premiers éléments a atteint une précision au niveau du mot d'environ 0,4 pour la prédiction du jeton suivant et du jeton masqué, au-dessus d'une base de référence à modèle de Markov caché, et est resté stable sur des blocs de test de 10^13 à 10^15. La vraisemblance du modèle a également distingué le texte arithmétique de témoins qui conservent les fréquences des jetons mais pas leur ordre, ainsi que de suites comportant plus de trois entiers sans facteur carré consécutifs, ce que l'arithmétique interdit.