无监督多模态深度学习驱动星系形态分类：融合ConvNeXt嵌入与形态参数实现可扩展巡天科学研究

《Scientific Reports》：Unsupervised multimodal deep learning for galaxy morphology taxonomy: integrating ConvNeXtEmbeddings and morphological parameters for scalable survey science

面对下一代天文巡天海量成像数据对自动化、可扩展星系形态分类的需求，本研究提出无监督多模态深度学习框架，整合ConvNeXt视觉嵌入与浓度(C)、不对称性(A)、平滑度(S)、基尼(Gini)、M20等定量形态参数，基于SDSS样本构建多模态自编码器(MAE)与高斯混合模型(GMM)，实现物理一致的形态分类，为LSST/Roman等大规模巡天提供高效解决方案。

　　

随着斯隆数字巡天(SDSS)、未来大型综合巡天望远镜(LSST)和南希·格雷罗马空间望远镜(Roman)等项目的推进，天文成像数据正以指数级增长。传统依赖人工标注的星系形态分类方法——如哈勃序列的视觉分型——在面对数亿至数十亿天体的海量数据时，不仅成本高昂、主观性强，还难以捕捉细微或过渡型的形态特征。尽管监督深度学习方法在自动化分类中取得进展，但其依赖大量高质量标注数据，且泛化能力受限于训练集分布，无法充分挖掘数据中潜在的自然结构。更关键的是，单一图像模态往往丢失了定量形态参数（如反映光分布集中度的浓度C、刻画非对称性的A、平滑度S、光强分布的基尼系数Gini以及二阶矩比M₂₀）所携带的互补物理信息，导致分类体系缺乏明确的物理可解释性和结构连贯性。因此，开发一种能够融合多源信息、无需人工标签的无监督框架，成为突破巡天科学瓶颈的关键需求。

为应对这一挑战，研究团队设计了一项无监督多模态深度学习研究，旨在通过整合卷积神经网络提取的视觉特征与传统形态参数，构建一个可扩展、物理可解释的星系形态分类系统。相关成果发表于《Scientific Reports》。

研究采用PyTorch搭建多模态自编码器(MAE)，输入包括ConvNeXt网络提取的图像嵌入向量和一组标准化形态参数（C、A、S、Gini、M₂₀），通过不对称编码器处理异构数据流后压缩至64维瓶颈层，解决高维图像特征与低维参数间的维度失衡问题；随后在潜空间应用概率性高斯混合模型(GMM)进行聚类，并通过消融实验验证多模态融合优势。外部验证引入经典启发式条件作为代理标准评估聚类天体物理一致性，利用GMM对数似然筛选异常天体。

Multimodal feature integration and dimensionality reduction via MAE

多模态自编码器成功将视觉与参数特征映射到统一潜空间，瓶颈层可视化显示不同形态星系形成可分簇；消融对比证实，单模态（仅图像或仅参数）潜空间的结构分离度显著低于多模态融合，后者在簇内同质性与簇间差异性上均更优，证明多模态架构有效提升了特征表达的完整性。

Unsupervised clustering and taxonomic structure emergence in latent space

GMM在潜空间识别出若干物理连贯的簇，对应早型星系(Early-Type)、晚型星系(Late-Type)及相互作用系统(Interacting systems)；代理外部验证显示，52.7%的样本与经典启发式分类一致，且簇边界与已知形态过渡区域吻合，表明无监督分类体系具有良好的天体物理可解释性。

Anomaly detection and scalability assessment

基于GMM对数似然的异常检测将噪声比例控制在2.0%，有效排除伪影与极端噪点；处理单星系耗时约27.6 ms，推算具备LSST等十亿级巡天的年数据处理能力，满足未来大规模项目实时分析需求。

研究表明，无监督多模态深度学习框架能够克服单一数据源的局限性，在无需人工干预的情况下揭示星系的自然分类结构，且分类结果与经典形态体系高度兼容。通过ConvNeXt嵌入与定量参数的协同，该方法既保留了视觉特征的细粒度信息，又强化了物理参数的约束作用，使生成的分类方案兼具结构凝聚性与物理可追溯性。异常检测机制进一步提升了系统的鲁棒性，为巡天数据清洗提供可靠工具。更重要的是，亚秒级的单样本处理速度证明该框架具备支撑下一代巡天的强大可扩展性，为星系演化研究与大数据时代天文信息学提供了高效、可推广的分析范式。