AIが解く世界の難問 · 計算機科学の理論 · arXiv · 2026-10-19
離散拡散による情報量推定
原題: Information Estimation with Discrete Diffusion
相互情報量などの情報量を離散データで推定することは難しく、既存手法は一般にデータを連続空間へ埋め込んでから推定器を適用していた。InfoSEDDは、連続時間マルコフ連鎖の理論に基づく離散拡散手法で、情報量の推定と生成モデルを結びつけてKLダイバージェンスを計算する。遺伝子プロモーターデータのモチーフ発見、テキスト要約における意味を考慮したモデル選択、イジングモデルのエントロピー推定に応用され、埋め込みトリックに頼る手法より優れた結果を示した。