ИИ и сложнейшие проблемы мира · Химия и материалы · Nature Computational Science · 2026-10-12
Меньше — значит лучше: предсказание свойств с помощью больших языковых моделей
Оригинальное название: Less can be more for predicting properties with large language models
Прогнозирование свойств по данным «координаты — категории», например энергий образования или модулей упругости по кристаллическим структурам, занимает центральное место в вычислительной науке, и для этой задачи применяют большие языковые модели (LLM). На синтетических наборах данных и бенчмарке MatText авторы показывают, что LLM стабильно не способны учитывать информацию о координатах, хотя хорошо справляются с категориальными закономерностями. Это верно для моделей размером до 70 миллиардов параметров, наборов данных до 2 × 10^6 структур и различных текстовых представлений, а при прогнозировании свойств, в котором преобладают структурные эффекты, специализированные геометрические архитектуры превосходят LLM.