AIが解く世界の難問 · 計算機科学の理論 · Nature (computational biology) · 2026-10-23
セグメンテーション基盤モデルを用いた人物と物体の相互作用予測
原題: Foundation model-driven framework for human–object interaction prediction with segmentation mask integration
人物と物体の相互作用（HOI）検出は、従来は検出ベースの手法が主流だった。本研究はセグメンテーション系の視覚基盤モデルを組み込んだSeg2HOIを提案し、標準的な三つ組に加えて人物と物体のペアのセグメンテーションマスクを含む四つ組も予測する。基盤モデルは凍結したまま用い、二つの公開ベンチマークで最先端手法に匹敵する性能を示し、ゼロショットの場合でも性能が保たれ、学習時に使われていないテキストや視覚的プロンプトからも四つ組や対話的なセグメンテーションを生成できることを示した。