AI与世界难题 · 理论计算机科学 · Nature (computational biology) · 2026-10-23
基于基础模型、融合分割掩码的人–物交互预测框架
原标题: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
人–物交互检测以往主要依赖基于检测的方法。Seg2HOI集成了一个保持冻结的、基于分割的视觉基础模型，并预测四元组，即在标准三元组的基础上为人–物对增加分割掩码。它在两个公开基准上取得了与最先进方法相当的性能，即使在零样本设置下也是如此，并且能够根据训练中未使用的文本和视觉提示生成四元组和交互式分割。