AI na Matatizo Magumu ya Ulimwengu · Sayansi ya kompyuta ya kinadharia · Nature (computational biology) · 2026-10-23
Mfumo unaoendeshwa na foundation model kwa utabiri wa mwingiliano kati ya binadamu na kitu kwa kuunganisha barakoa za ugawanyaji (segmentation masks)
Kichwa asilia: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
Utambuzi wa mwingiliano kati ya binadamu na kitu umetegemea zaidi mbinu zinazotegemea ugunduzi. Seg2HOI inaunganisha foundation model ya maono inayotegemea ugawanyaji, iliyoachwa bila kubadilishwa (frozen), na kutabiri quadruplets zinazoongeza barakoa za ugawanyaji kwa jozi za binadamu na kitu kwenye triplets za kawaida. Inafikia utendaji unaolingana na mbinu bora za kisasa kwenye vipimo viwili vya umma, hata katika mazingira ya zero-shot, na inaweza kuzalisha quadruplets na ugawanyaji shirikishi kutoka kwa maelekezo ya maandishi na ya kuona yasiyotumika katika mafunzo.