AI与世界难题 · 理论计算机科学 · arXiv · 2026-10-19
基于离散扩散的信息估计
原标题: Information Estimation with Discrete Diffusion
在离散数据上估计互信息等信息度量十分困难，现有方法通常先将数据嵌入连续空间。InfoSEDD是一种基于离散扩散、以连续时间马尔可夫链理论为基础的方法，将信息估计与生成建模联系起来以计算KL散度。它被应用于遗传启动子数据中的基序发现、文本摘要中的语义感知模型选择以及Ising模型中的熵估计，实验中优于依赖嵌入技巧的其他方法。