AI与世界难题 · 生命科学 · arXiv · 2026-10-21
VGL-stGen：为肺部组织学与空间转录组学学习一个共享的多模态模型
原标题: VGL-stGen: Learning a shared multimodal model for lung histology and spatial transcriptomics
VGL-stGen 是一个多模态大语言模型，由预训练的医学视觉-语言模型适配而来，利用配对的肺部 H&E 与空间转录组学数据以及单细胞参考。基因条件化的伪标签将转录组细胞类型监督迁移到组织学图像上，一个已部署的检查点支持十三项已评估任务，涵盖组织与细胞类型分类、基因预测以及条件表达补全。图像置换实验表明，正确配对的组织学图像能提供超出观测表达之外的信息，不过外部分类在一定程度上依赖于具有相同注释谱系的计算参考。