La IA y los problemas difíciles del mundo · Informática teórica · arXiv · 2026-10-19
Estimación de información con difusión discreta
Título original: Information Estimation with Discrete Diffusion
Estimar medidas de información como la información mutua en datos discretos es difícil, y los métodos existentes suelen incrustar primero los datos en un espacio continuo. InfoSEDD es un enfoque basado en difusión discreta, fundamentado en la teoría de cadenas de Markov en tiempo continuo, que vincula la estimación de información con el modelado generativo para calcular divergencias KL. Se aplicó al descubrimiento de motivos en datos de promotores genéticos, a la selección de modelos con conciencia semántica en el resumen de textos y a la estimación de entropía en modelos de Ising, y en los experimentos superó a las alternativas que se basan en el truco de la incrustación.