AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-26
Teori Matematis tentang Lensa Jacobian
Judul asli: A Mathematical Theory of the Jacobian Lens
Jacobian lens (J-lens), sebuah alat interpretabilitas dari Anthropic, mendeteksi arah-arah mirip memori kerja pada model bahasa, tetapi mengapa fitur-fitur ini dapat terdeteksi belum jelas. Para penulis menyajikan teori matematis yang menunjukkan bahwa J-lens secara istimewa mengidentifikasi fitur koheren, yang perturbasinya diamplifikasi di seluruh lapisan dan tetap konsisten di berbagai posisi token dan konteks. Mereka memvalidasi hal ini pada filter Bayes dan transformer mainan yang memprediksi token dari hidden Markov model, di mana pengubahan parameter yang mengubah koherensi fitur mengubah respons J-lens sesuai prediksi.