L'IA face aux grands problèmes du monde · Informatique théorique · arXiv · 2026-10-19
Estimation de l'information par diffusion discrète
Titre original: Information Estimation with Discrete Diffusion
Estimer des mesures d'information telles que l'information mutuelle sur des données discrètes est difficile, et les méthodes existantes plongent généralement d'abord les données dans un espace continu. InfoSEDD est une approche fondée sur la diffusion discrète, ancrée dans la théorie des chaînes de Markov en temps continu, qui relie l'estimation d'information à la modélisation générative pour calculer des divergences de KL. Elle a été appliquée à la découverte de motifs dans des données de promoteurs génétiques, à la sélection de modèles sensible à la sémantique en résumé de texte, et à l'estimation d'entropie dans des modèles d'Ising, et lors des expériences, elle a surpassé les alternatives reposant sur l'astuce du plongement.