La IA y los problemas difíciles del mundo · Física · arXiv · 2026-10-22
Ajuste fino de modelos de razonamiento pequeños para teoría cuántica de campos
Título original: Fine-Tuning Small Reasoning Models for Quantum Field Theory
Los autores realizan la primera comparación académica del aprendizaje por refuerzo (RL) y el ajuste fino supervisado (SFT) para LLMs en tareas de resolución de problemas verificables de física teórica, eligiendo la teoría cuántica de campos (QFT) como dominio principal. Como los datos de entrenamiento verificables eran escasos, construyeron un pipeline de generación de datos que tanto crea más de 2,500 problemas sintéticos como adapta problemas existentes creados por humanos de arXiv y recursos pedagógicos estándar para el entrenamiento. Ambos métodos mejoran sobre el modelo base en cada conjunto de datos, pero las ganancias de SFT se concentran en tareas sintéticas dentro de la distribución, mientras que RL generaliza mejor y supera a SFT en los conjuntos de datos adaptados de material humano y en TPBench, y los autores publican su pipeline de datos, los datos de entrenamiento verificables de QFT y unos 200M de tokens de razonamientos de QFT junto con un análisis de cómo evolucionan los errores de cadena de razonamiento (chain-of-thought) durante el entrenamiento.