La IA y los problemas difíciles del mundo · Informática teórica · Nature (computational biology) · 2026-10-23
Marco impulsado por modelos fundacionales para la predicción de interacciones humano-objeto con integración de máscaras de segmentación
Título original: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
La detección de interacciones humano-objeto se ha basado principalmente en métodos basados en detección. Seg2HOI integra un modelo fundacional de visión basado en segmentación, mantenido congelado, y predice cuádruplas que añaden máscaras de segmentación para los pares humano-objeto a las tripletas estándar. Logra un rendimiento comparable al de los métodos de vanguardia en dos benchmarks públicos, incluso en entornos de cero disparos, y puede generar cuádruplas y segmentaciones interactivas a partir de indicaciones textuales y visuales no utilizadas en el entrenamiento.