AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-23
Transformer 訓練的最佳控制方法
原標題: An Optimal Control Approach To Transformer Training
本研究將 Transformer 訓練視為一個須遵守結構性限制的最佳控制問題,這些限制包括與輸入無關的執行方式以及位置相依性。作者將模型提升為定義在機率測度上的完全可觀測馬可夫決策過程,證明全域最佳策略存在,並提出一種三重量化的訓練程序,對狀態空間、測度空間與動作空間進行量化。他們證明,量化模型的任何最佳策略對原始訓練問題而言都近乎最佳,為梯度式訓練提供了一種無須平滑性或凸性的理論替代方案。