AI dan Masalah-Masalah Sulit Dunia · Linguistik · arXiv · 2026-10-22
Struktur Mirip Kelas Kata dan Konstruksi Muncul dalam Representasi Suksesor Neural yang Dilatih pada Bahasa Alami
Judul asli: Word-Class and Construction-Like Structure Emerges in Neural Successor Representations Trained on Natural Language
Para peneliti melatih jaringan residu pada WikiText-103 untuk memprediksi representasi penerus pada tiga horizon tanpa supervisi kelas kata, guna menguji apakah representasi prediktif dapat memulihkan struktur linguistik. Pada horizon terpendek, pengelompokan secara andal memulihkan kata benda, kata kerja, dan kata sifat; analisis yang lebih rinci juga mengungkap kelompok semantik-fungsional yang melintasi batas kelas kata serta relasi yang menelusuri konstruksi kandidat tanggal, pengukuran, dan nama-judul.