AI na Matatizo Magumu ya Ulimwengu · Sayansi za maisha · arXiv · 2026-10-21
VGL-stGen: Kujifunza mfano wa pamoja wa multimodal kwa histolojia ya mapafu na transcriptomics ya kimwanya
Kichwa asilia: VGL-stGen: Learning a shared multimodal model for lung histology and spatial transcriptomics
VGL-stGen ni mfano mkubwa wa lugha wa multimodal uliobadilishwa kutoka kwa mfano wa matibabu wa kuona na lugha uliyoandaliwa awali kwa kutumia H&E za mapafu zilizowekwa jozi pamoja na transcriptomics ya kimwanya na marejeleo ya seli moja. Lebo bandia zinazoegemezwa kwenye jeni huhamishia usimamizi wa aina za seli za transcriptomics kwenye picha za histolojia, na checkpoint moja iliyowekwa katika matumizi inaunga mkono kazi kumi na tatu zilizotathminiwa zinazojumuisha uainishaji wa tishu na aina za seli, utabiri wa jeni, na ukamilishaji wa uelemezaji kwa masharti. Majaribio ya kubadilisha mpangilio wa picha yanaonyesha kwamba histolojia iliowekwa jozi ipasavyo huongeza habari zaidi kuliko uelemezaji ulioonekana, ingawa uainishaji wa nje unategemea kwa sehemu marejeleo ya ukokotoaji yenye nasaba ya uwandikishaji iliyoshirikiwa.