AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-26
测试 Transformer 对有根树算术序列的可学习性
原标题: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
该研究探讨 Transformer 能否学习由自然数的迭代素因数分解所产生的有根树确定性序列。一个从零开始训练的 GPT-2 风格模型，在前 10^11 个元素上训练后，在下一词元预测和掩码词元预测上达到约 0.4 的单词准确率，高于隐马尔可夫模型基线，并且在 10^13 至 10^15 的测试区块上保持稳定。该模型的似然还能区分算术文本与那些保留词元频率但打乱其顺序的对照文本，以及含有三个以上连续无平方因子整数的序列（算术规律不允许出现这种情况）。