KI und die schwierigen Probleme der Welt · Theoretische Informatik · arXiv · 2026-10-19
Informationsschätzung mit diskreter Diffusion
Originaltitel: Information Estimation with Discrete Diffusion
Die Schätzung von Informationsmaßen wie der Transinformation auf diskreten Daten ist schwierig, und bestehende Methoden betten die Daten üblicherweise zuerst in einen kontinuierlichen Raum ein. InfoSEDD ist ein auf diskreter Diffusion basierender Ansatz, der in der Theorie kontinuierlicher Markov-Ketten fundiert ist und Informationsschätzung mit generativer Modellierung verknüpft, um KL-Divergenzen zu berechnen. Er wurde auf die Motiventdeckung in genetischen Promotordaten, die semantikbewusste Modellauswahl bei der Textzusammenfassung und die Entropieschätzung in Ising-Modellen angewendet und übertraf in Experimenten Alternativen, die auf dem Einbettungstrick beruhen.