AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-26
詞元感知器的泛化特性：嵌入與詞彙表的作用
原標題: Generalization properties of the token perceptron: the role of embedding and vocabulary
大型語言模型中的詞元預測是一個分類問題,其幾何結構由嵌入決定,因此作者研究一種稱為詞元感知器(token perceptron)的最小線性模型。他們運用複本方法計算其泛化誤差,發現對於連續嵌入,當超過 d²/(d−1) 的閾值時,教師模型可被精確復原。對於詞彙嵌入,即使教師模型是各向同性的,最佳學習器也會先解析詞彙變化最大的方向。