AI 與世界的難題 · 理論資訊科學 · arXiv · 2026-10-19
以離散擴散進行資訊估計
原標題: Information Estimation with Discrete Diffusion
在離散資料上估計互資訊等資訊度量並不容易，現有方法通常需先將資料嵌入連續空間。InfoSEDD 是一種以連續時間馬可夫鏈理論為基礎的離散擴散方法，將資訊估計與生成建模連結起來以計算 KL 散度。它被應用於基因啟動子資料中的模體探索、文本摘要中具語意感知的模型選擇，以及 Ising 模型中的熵估計，實驗中表現優於依賴嵌入技巧的其他方法。