KI und die schwierigen Probleme der Welt · Theoretische Informatik · Nature (computational biology) · 2026-10-23
Foundation-Model-gestütztes Framework zur Vorhersage von Mensch-Objekt-Interaktionen mit Integration von Segmentierungsmasken
Originaltitel: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
Die Erkennung von Mensch-Objekt-Interaktionen stützte sich bisher überwiegend auf detektionsbasierte Methoden. Seg2HOI integriert ein segmentierungsbasiertes Vision-Foundation-Model, das eingefroren bleibt, und sagt Quadrupel voraus, die zu den üblichen Tripeln Segmentierungsmasken für Mensch-Objekt-Paare hinzufügen. Es erreicht auf zwei öffentlichen Benchmarks eine Leistung, die mit dem Stand der Technik vergleichbar ist, selbst in Zero-Shot-Szenarien, und kann Quadrupel und interaktive Segmentierungen aus Text- und visuellen Prompts erzeugen, die im Training nicht verwendet wurden.