AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-23
最適制御理論によるTransformer学習の定式化
原題: An Optimal Control Approach To Transformer Training
Transformerの学習を、実行時の入力に依存しないことや位置依存性といった構造的制約を満たす最適制御問題として定式化した。モデルを確率測度上に持ち上げて完全観測のマルコフ決定過程として扱い、状態、確率測度、行動の各空間を量子化する学習手法を提案した。量子化したモデルの最適方策は元の学習問題に対してほぼ最適であることを示し、平滑性や凸性を必要としない、勾配法に代わる理論的手段として位置づけている。