ИИ и сложнейшие проблемы мира · Теоретическая информатика · Nature (computational biology) · 2026-10-23
Фреймворк на основе фундаментальной модели для предсказания взаимодействий человека и объекта с интеграцией масок сегментации
Оригинальное название: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
Обнаружение взаимодействий человека и объекта в основном опиралось на методы на основе детекции. Seg2HOI интегрирует фундаментальную модель компьютерного зрения на основе сегментации, остающуюся замороженной, и предсказывает квадруплеты, которые дополняют стандартные триплеты масками сегментации для пар «человек — объект». Он достигает качества, сопоставимого с современными методами, на двух публичных бенчмарках, в том числе в условиях zero-shot, и может генерировать квадруплеты и интерактивные сегментации по текстовым и визуальным подсказкам, не использовавшимся при обучении.