IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-26
Testando a capacidade de aprendizado de Transformers na sequência aritmética de árvores enraizadas
Título original: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
O estudo investiga se um transformer consegue aprender a sequência determinística de árvores enraizadas produzida pela fatoração iterada em números primos dos números naturais. Um modelo no estilo GPT-2 treinado do zero nos primeiros 10^11 elementos atingiu uma acurácia de palavra de cerca de 0,4 na previsão do próximo token e de token mascarado, acima de uma linha de base de Modelo Oculto de Markov, e permaneceu estável em blocos de teste de 10^13 a 10^15. A verossimilhança do modelo também distinguiu o texto aritmético de controles que mantêm as frequências dos tokens, mas não sua ordem, e de sequências com mais de três inteiros livres de quadrados consecutivos, o que a aritmética proíbe.