AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-26
整数の素因数分解から得られる根付き木の数列に対するTransformerの学習可能性の検証
原題: Testing Transformer Learnability on the Arithmetic Sequence of Rooted Trees
自然数を反復的に素因数分解して得られる根付き木の決定的な数列を、Transformerが学習できるかを検証した。GPT-2構造のモデルを最初の10^11要素で一から学習させ、隠れマルコフモデルを基準に次トークン予測と穴埋め予測で評価したところ、単語精度は約0.4で基準を上回り、訓練区間外の10^13〜10^15でも性能は安定していた。さらに、学習済みモデルは頻度分布は保ったが順序を崩した系列や、算術的に起こりえない連続する平方自由整数を含む系列から、この算術テキストを区別できた。