AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-26
在有根樹的算術序列上測試 Transformer 的可學習性
原標題: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
本研究探討 Transformer 是否能學會由自然數反覆質因數分解所產生的有根樹確定性序列。一個採用 GPT-2 風格、從頭開始訓練於前 10^11 個元素的模型，在下一個詞元與遮蔽詞元預測上達到約 0.4 的詞準確率，高於隱馬可夫模型基準，並且在 10^13 至 10^15 的測試區塊上保持穩定。該模型的似然值也能區分算術文本與保留詞元頻率但打亂順序的對照組，以及含有超過三個連續無平方因數整數的序列（這在算術上是不可能出現的）。