ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-26
Обобщающие свойства токенного перцептрона: роль эмбеддинга и словаря
Оригинальное название: Generalization properties of the token perceptron: the role of embedding and vocabulary
Предсказание токенов в больших языковых моделях — это задача классификации, геометрия которой определяется эмбеддингом, поэтому авторы изучают минимальную линейную модель, называемую токенным перцептроном. С помощью метода реплик они вычисляют её ошибку обобщения и обнаруживают, что для непрерывных эмбеддингов учитель восстанавливается точно выше порога d²/(d−1). Для словарных эмбеддингов оптимальный обучаемый сначала разрешает направления, вдоль которых словарь варьируется сильнее всего, даже если учитель изотропен.