ИИ и сложнейшие проблемы мира · Физика · arXiv · 2026-10-22
Дообучение малых моделей рассуждений для квантовой теории поля
Оригинальное название: Fine-Tuning Small Reasoning Models for Quantum Field Theory
Авторы проводят первое академическое сравнение обучения с подкреплением (RL) и контролируемого дообучения (SFT) для LLM на проверяемых задачах решения проблем в теоретической физике, выбрав квантовую теорию поля (QFT) в качестве основной области. Поскольку проверяемых обучающих данных не хватало, они построили конвейер генерации данных, который и создает более 2,500 синтетических задач, и адаптирует для обучения уже существующие задачи, составленные людьми, из arXiv и стандартных педагогических ресурсов. Оба метода улучшают базовую модель на каждом наборе данных, но прирост SFT сосредоточен на синтетических задачах из того же распределения, тогда как RL лучше обобщает и превосходит SFT на адаптированных из человеческих наборах данных и TPBench, а авторы выпускают свой конвейер данных, проверяемые обучающие данные по QFT и около 200 млн токенов цепочек рассуждений по QFT наряду с анализом того, как ошибки в цепочке рассуждений эволюционируют в ходе обучения.