L'IA face aux grands problèmes du monde · Informatique théorique · Nature (computational biology) · 2026-10-23
Cadre piloté par un modèle de fondation pour la prédiction des interactions humain–objet avec intégration de masques de segmentation
Titre original: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
La détection des interactions humain–objet a surtout reposé sur des méthodes fondées sur la détection. Seg2HOI intègre un modèle de fondation de vision basé sur la segmentation, maintenu gelé, et prédit des quadruplets qui ajoutent des masques de segmentation pour les paires humain–objet aux triplets standard. Il atteint des performances comparables à celles des méthodes de pointe sur deux benchmarks publics, même en configuration zero-shot, et peut générer des quadruplets et des segmentations interactives à partir d'invites textuelles et visuelles non utilisées lors de l'entraînement.