标记感知机的泛化性质：嵌入与词表的作用

原标题: Generalization properties of the token perceptron: the role of embedding and vocabulary

大语言模型中的词元预测是一个分类问题,其几何结构由嵌入决定,因此作者研究了一个称为词元感知器的最小线性模型。作者利用复本方法计算了其泛化误差,发现对于连续嵌入,当超过d²/(d−1)的阈值时,教师模型可被精确恢复。对于词表嵌入,即使教师模型是各向同性的,最优学习器也会首先分辨词表变化最大的方向。