ИИ и сложнейшие проблемы мира · Науки о жизни · arXiv · 2026-10-21
VGL-stGen: обучение единой мультимодальной модели для гистологии лёгких и пространственной транскриптомики
Оригинальное название: VGL-stGen: Learning a shared multimodal model for lung histology and spatial transcriptomics
VGL-stGen — мультимодальная большая языковая модель, адаптированная из предобученной медицинской визуально-языковой модели с использованием парных данных гистологии лёгких с окраской H&E и пространственной транскриптомики с одноклеточными референсами. Псевдометки, обусловленные генами, переносят транскриптомный контроль типов клеток на гистологические изображения, а один развёрнутый чекпоинт поддерживает тринадцать оценённых задач, охватывающих классификацию тканей и типов клеток, предсказание генов и условное дополнение экспрессии. Эксперименты с перестановкой изображений показывают, что корректно сопоставленная гистология добавляет информацию сверх наблюдаемой экспрессии, хотя внешняя классификация частично опирается на вычислительные референсы с общей линией аннотирования.