L'IA face aux grands problèmes du monde · Sciences du vivant · arXiv · 2026-10-21
VGL-stGen : apprentissage d'un modèle multimodal partagé pour l'histologie pulmonaire et la transcriptomique spatiale
Titre original: VGL-stGen: Learning a shared multimodal model for lung histology and spatial transcriptomics
VGL-stGen est un grand modèle de langage multimodal adapté à partir d'un modèle vision-langage médical préentraîné, en utilisant des histologies pulmonaires H&E appariées et de la transcriptomique spatiale avec des références unicellulaires. Des pseudo-étiquettes conditionnées par les gènes transfèrent la supervision des types cellulaires transcriptomiques aux images histologiques, et un seul checkpoint déployé prend en charge treize tâches évaluées couvrant la classification des tissus et des types cellulaires, la prédiction de gènes et la complétion d'expression conditionnelle. Des expériences de permutation d'images indiquent que l'histologie correctement appariée apporte des informations au-delà de l'expression observée, bien que la classification externe repose en partie sur des références computationnelles partageant une même lignée d'annotation.