AI 與世界的難題 · 理論資訊科學 · Nature (computational biology) · 2026-10-23
整合分割遮罩、以基礎模型驅動的人物–物件互動預測框架
原標題: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
人物–物件互動偵測過去大多依賴以偵測為基礎的方法。Seg2HOI 整合了一個以分割為基礎的視覺基礎模型（保持凍結），並預測四元組，也就是在標準三元組之外，為人物–物件配對加入分割遮罩。它在兩個公開基準上達到與最先進方法相當的表現，即使在零樣本設定下亦然，並能根據訓練中未使用的文字與視覺提示，產生四元組與互動式分割。