IA e os Problemas Difíceis do Mundo · Ciência da computação teórica · arXiv · 2026-10-19
Estimação de informação com difusão discreta
Título original: Information Estimation with Discrete Diffusion
Estimar medidas de informação, como a informação mútua, em dados discretos é difícil, e os métodos existentes normalmente incorporam primeiro os dados em um espaço contínuo. O InfoSEDD é uma abordagem baseada em difusão discreta, fundamentada na teoria de cadeias de Markov em tempo contínuo, que une a estimativa de informação à modelagem generativa para calcular divergências KL. Ele foi aplicado à descoberta de motivos em dados de promotores genéticos, à seleção de modelos com consciência semântica em sumarização de texto e à estimativa de entropia em modelos de Ising, e nos experimentos superou alternativas que dependem do truque de incorporação (embedding).