IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-23
Uma abordagem de controle ótimo para o treinamento de Transformers
Título original: An Optimal Control Approach To Transformer Training
O estudo trata o treinamento de Transformers como um problema de controle ótimo que respeita restrições estruturais, incluindo execução independente da entrada e dependência posicional. Os autores elevam o modelo a um processo de decisão de Markov totalmente observado sobre medidas de probabilidade, provam que existem políticas globalmente ótimas e propõem um procedimento de treinamento triplamente quantizado, que quantiza os espaços de estado, de medida e de ação. Eles mostram que qualquer política ótima para o modelo quantizado é quase ótima para o problema de treinamento original, oferecendo uma alternativa teórica ao treinamento baseado em gradiente que não exige suavidade nem convexidade.