ИИ и сложнейшие проблемы мира · Теоретическая информатика · arXiv · 2026-10-19
Оценка информации с помощью дискретной диффузии
Оригинальное название: Information Estimation with Discrete Diffusion
Оценка информационных мер, таких как взаимная информация, на дискретных данных затруднительна, а существующие методы обычно сначала встраивают данные в непрерывное пространство. InfoSEDD — это подход на основе дискретной диффузии, опирающийся на теорию марковских цепей с непрерывным временем, который связывает оценку информации с генеративным моделированием для вычисления KL-дивергенций. Он был применён к поиску мотивов в данных о генетических промоторах, семантически осознанному выбору модели в суммаризации текста и оценке энтропии в моделях Изинга, и в экспериментах превзошёл альтернативы, использующие приём с встраиванием.