AI dan Masalah-Masalah Sulit Dunia · Ilmu komputer teoretis · Nature (computational biology) · 2026-10-23
Kerangka kerja berbasis model fondasi untuk prediksi interaksi manusia–objek dengan integrasi mask segmentasi
Judul asli: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
Deteksi interaksi manusia–objek sebagian besar mengandalkan metode berbasis deteksi. Seg2HOI mengintegrasikan model fondasi visi berbasis segmentasi yang dibekukan, dan memprediksi quadruplet yang menambahkan mask segmentasi untuk pasangan manusia–objek pada triplet standar. Model ini mencapai kinerja yang sebanding dengan metode mutakhir pada dua tolok ukur publik, bahkan dalam pengaturan zero-shot, dan dapat menghasilkan quadruplet serta segmentasi interaktif dari prompt teks dan visual yang tidak digunakan dalam pelatihan.