AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · arXiv · 2026-10-19
Estimasi Informasi dengan Difusi Diskret
Judul asli: Information Estimation with Discrete Diffusion
Mengestimasi ukuran informasi seperti informasi mutual pada data diskret itu sulit, dan metode yang ada umumnya menanamkan data ke ruang kontinu terlebih dahulu. InfoSEDD adalah pendekatan berbasis difusi diskret, berlandaskan teori rantai Markov waktu kontinu, yang menghubungkan estimasi informasi dengan pemodelan generatif untuk menghitung divergensi KL. Pendekatan ini diterapkan pada penemuan motif dalam data promotor genetik, pemilihan model yang sadar semantik dalam peringkasan teks, dan estimasi entropi pada model Ising, dan dalam eksperimen, pendekatan ini mengungguli alternatif yang mengandalkan trik penanaman.