AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Anthropic · 2026-09-28
Menuju monosemantisitas
Judul asli: Towards monosemanticity
Neuron individual dalam jaringan saraf tiruan sering kali membawa beberapa makna sekaligus, sehingga sulit untuk ditafsirkan. Dengan menggunakan dictionary learning, para peneliti menguraikan satu lapisan transformer yang terdiri dari 512 neuron menjadi lebih dari 4.000 fitur, yang masing-masing sesuai dengan sebuah pola aktivasi neuron. Fitur-fitur tersebut secara terpisah merepresentasikan hal-hal seperti urutan DNA, bahasa hukum, permintaan HTTP, teks berbahasa Ibrani, dan pernyataan gizi, yaitu sifat-sifat yang tidak terlihat ketika neuron diamati satu per satu.