《INTERNATIONAL JOURNAL OF COMPUTER VISION》：From Unsupervised to Zero-Shot: 3D Domain Adaptation for Cryo-Electron Tomography Segmentation
编辑推荐：
随着三维成像模态的不断完善，冷冻电子断层扫描（cryo-ET）已成为在近原子分辨率下开展大分子复合体结构分析的有力技术。近年来，应用于cryo-ET数据集的体积分割方法（volumetric segmentation methods）在生物医学领域受到广泛关注
随着三维成像模态的不断完善，冷冻电子断层扫描（cryo-ET）已成为在近原子分辨率下开展大分子复合体结构分析的有力技术。近年来，应用于cryo-ET数据集的体积分割方法（volumetric segmentation methods）在生物医学领域受到广泛关注。然而，现有方法高度依赖人工标注数据，而这需要高度专业化的知识，因此全监督方法在cryo-ET图像中的可行性较低。为解决这一问题，已有多种无监督域适应（unsupervised domain adaptation, UDA）技术被提出，以利用无标注数据提升分割网络性能。尽管如此，将这些方法直接应用于cryo-ET图像分割仍面临两项主要挑战：1）源数据集通常通过模拟获得，具有固定噪声水平，而目标数据集直接来源于真实场景中的原始采集数据，其噪声水平不可预测；2）用于训练的源数据通常由已知大分子组成，而目标域数据往往包含未知大分子，这会使模型偏向于这些已知大分子，从而引发域偏移（domain shift）问题。为应对上述挑战，研究人员提出了一种面向cryo-ET亚断层图分割的体素级无监督域适应方法，称为Vox-UDA。Vox-UDA引入噪声生成模块，以在源数据集中模拟与目标域相似的噪声，实现跨噪声水平适应；同时提出基于改进双边滤波（improved bilateral filter, IBF）的去噪伪标签（pseudo-labeling）策略，以缓解域偏移问题。此外，研究进一步考虑了一种更贴近真实场景的情况，即训练期间目标（实验）数据可能不可获取或样本量极小，并据此提出一种体素级零样本域适应（zero-shot domain adaptation, ZSDA）方法，命名为Vox-ZSDA。在Vox-ZSDA中，研究人员引入自监督图学习（self-supervised graph learning）策略，以消除对目标数据的依赖，并结合动态图对比学习（dynamic graph contrastive learning）技术，增强模型对大分子结构的敏感性，从而提升分割性能。更为重要的是，研究构建了首个基于3个实验数据集的cryo-ET亚断层图分割UDA与ZSDA基准。多个基准及新整理真实世界数据集上的大量实验结果表明，所提出方法相较于当前最先进的UDA与ZSDA方法具有更优性能。
该研究发表于《INTERNATIONAL JOURNAL OF COMPUTER VISION》，围绕冷冻电子断层扫描（cryo-ET）亚断层图体素级分割中的跨域泛化问题展开，重点解决模拟源域与真实实验目标域之间在噪声分布和大分子类别上的显著差异。研究背景在于，cryo-ET能够在近原子分辨率下表征天然状态的大分子复合体，是结构生物学、药物发现和疾病机制研究的重要工具。然而，深度学习驱动的亚断层图分割长期依赖高质量体素级人工标注，而这类标注不仅耗费大量时间和专业知识，而且主观性较强，严重限制了全监督方法在真实cryo-ET场景中的可扩展性。尽管无监督域适应（UDA）可利用无标注目标域数据提升模型泛化能力，但现有方法主要面向二维图像，直接迁移到三维体数据时易损失空间结构信息。更关键的是，cryo-ET任务存在两类特殊困难：其一，模拟数据通常由固定参数生成，噪声水平稳定，而实验数据噪声复杂且不可预测；其二，尽管任务形式为二分类分割，但源域中的已知大分子类型与目标域中的未知结构并不一致，模型容易学习到对已知大分子形态的偏置，导致明显域偏移。因此，开展专门面向cryo-ET三维分割的域适应研究具有明确的方法学必要性和实际应用价值。
为解决上述问题，研究人员提出了两个相互衔接的体素级跨域分割框架。首先，在可访问无标注目标数据的条件下，提出Vox-UDA，用于实现从模拟数据到实验数据的无监督域适应。该方法以VoxResNet为基础，通过噪声生成模块（noise generation module, NGM）从目标域子集提取噪声统计特征，并将生成的目标样式高斯噪声注入源域样本，使源域训练过程更贴近实验成像条件；同时引入去噪伪标签（denoised pseudo-labeling, DPL）策略，借助改进双边滤波（IBF）先对目标域输入进行去噪，再由教师网络生成高置信度伪标签，用于反向监督学生网络，以减轻由分子类别不匹配导致的域偏移。其次，考虑到某些真实场景中实验数据在训练阶段根本不可获得，或仅有极少量样本，研究进一步提出Vox-ZSDA，即体素级零样本域适应框架。该方法仅利用源域模拟数据训练，通过自监督图学习（self-supervised graph learning, SGL）与动态图对比学习（dynamic graph contrastive learning, DGCL）增强模型对大分子边界、纹理和结构特征的关注，从而在完全无目标域参与的条件下实现对未知实验域的泛化。
主要技术方法可概括如下：研究以模拟cryo-ET数据为源域、3个实验数据集为目标域，建立UDA与ZSDA评测基准；Vox-UDA中，采用离散傅里叶变换（DFT）与高通滤波估计目标域高频噪声方差，构造高斯噪声注入源域，并结合基于教师-学生与指数滑动平均（EMA）的伪标签学习；为提高伪标签质量，设计将体素灰度差替换为梯度差的改进双边滤波（IBF）；Vox-ZSDA中，采用双网络结构，在不同层级构建K近邻（KNN）图，通过节点对比学习（NCL）分别约束浅层纹理节点与深层边界节点，利用IBF动态生成噪声、边缘和纹理聚类中心，以提升对未知域大分子结构的敏感性。实验数据包括Poly-GA、Mycoplasma pneumoniae和Erwinia三个实验数据集，其中后两者为新整理数据集。
以下结合论文主体结构，对研究结果进行概述。
一、Voxel-wise Unsupervised Domain Adaptation
这一部分系统介绍了Vox-UDA框架。研究人员将其建立在VoxResNet之上，输入包括源域带标注亚断层图、目标域无标注亚断层图，以及从目标域随机采样的一个子集。整体优化目标由分割损失、跨噪声一致性损失和判别器损失组成。该框架的核心思想不是简单进行特征对齐，而是针对cryo-ET图像最突出的噪声异质性和结构类别差异进行定向建模。
二、Noise Generation Module
通过该模块，研究人员证明可从目标域中提取对域迁移有效的噪声统计信息。具体而言，目标域样本首先经离散傅里叶变换进入频域，高通滤波去除低频纹理信息后保留高频噪声成分，再通过逆变换恢复到体素空间。随后，对采样子集中的噪声进行平均估计，并仅提取其方差来生成高斯噪声
ε，再叠加到源域输入中，构造目标样式噪声源样本。通过这种方式，模型在训练期间同时看到原始源域样本与加噪源域样本，利用多层特征一致性约束提高对不同噪声水平的鲁棒性。结果表明，该设计能够有效缩小模拟域与实验域在噪声层面的差异。
三、Denoised Pseudo-Labeling
研究人员指出，仅进行噪声模拟仍不足以完全消除域偏移，因为模型仍可能偏向源域已知大分子形态。为此，引入伪标签监督，但又考虑到目标域强噪声可能导致伪标签失真，因此提出去噪伪标签策略。论文比较了三种去噪方式：直接利用NGM、标准双边滤波（BF）以及改进双边滤波（IBF）。其中IBF以三维Sobel算子计算体素梯度，并用梯度差替代传统双边滤波中的灰度差，使其更适合灰度体数据中的边缘保持与噪声抑制。实验结果说明，IBF生成的伪标签更可靠，能够为学生网络提供更准确的目标域监督，进而提升分割性能。
四、Limitations of Vox-UDA
研究人员进一步指出，Vox-UDA虽然摆脱了目标域标注依赖，但仍需要一定数量的无标注目标数据以完成噪声建模和伪标签生成。在稀有样本、快速自动挑粒等场景中，这种前提可能无法满足，因此有必要进一步探索完全不使用目标域数据的训练策略。这一分析为后续提出Vox-ZSDA提供了问题导向和现实依据。
五、Clarification of UDA, DG, and ZSDA
论文在方法展开前，区分了无监督域适应（UDA）、域泛化（DG）和零样本域适应（ZSDA）的概念边界。尤其强调ZSDA允许源域与目标域标签空间不完全一致，即
Y
s ≠ Y
t，目标域可能包含源域训练中从未出现的类别。这一设定与cryo-ET实验数据中未知大分子频繁出现的实际情形高度吻合，因此Vox-ZSDA不仅是技术扩展，也对应更现实的生物成像问题。
六、Self-supervised Graph Learning
在Vox-ZSDA中，研究人员继续采用学生-教师双网络，但训练完全基于源域。为增强模型对结构信息而非整体外观的敏感性，方法在多个VoxRes块输出的特征图上构建图结构，并进行自监督学习。学生网络使用余弦相似度完成K近邻图构建，教师网络则使用切比雪夫距离，以形成多视角图表示。通过这种方式，三维体素特征被投影到非欧式图空间，从而更有利于捕获局部结构关系和跨层语义联系。
七、Dynamic Graph Contrastive Learning
该部分是Vox-ZSDA的关键创新。研究人员没有采用固定可学习聚类中心，而是利用IBF动态生成噪声中心、边缘中心和纹理中心。节点对比学习损失（NCL）只在特定层作用于特定类型节点：浅层主要约束纹理相关节点，深层主要约束边缘相关节点；同时降低纹理损失权重，以避免模型过度拟合源域特异性分子纹理。论文还从域适应理论角度解释其有效性，认为这类分层对比约束可减少源域与未知目标域之间的分布散度，从而降低目标域泛化误差。该设计使模型即便在完全看不到目标数据的情况下，也能更聚焦于大分子普遍共享的结构性线索。
八、Experiments
实验部分显示，Vox-UDA和Vox-ZSDA在多个数据集与多种设定下均优于现有方法。源域模拟数据由6种代表性大分子复合体构成，按两组划分为不同训练设定；目标域包括Poly-GA、Mycoplasma pneumoniae和Erwinia三个实验数据集。评估指标为平均交并比（mIoU）和Dice系数。对于UDA任务，研究与DANN、PDAM、Cryo-Shift、ASC、LE-UDA、DAR-Unet、DDSP、MAPSeg等方法比较，结果显示Vox-UDA在Poly-GA及另外两个实验数据集上均取得最佳性能。论文明确指出，相较多个近期三维UDA方法，Vox-UDA在mIoU和Dice上均实现显著提升。对于ZSDA任务，研究与多种任务迁移型和提示学习型方法比较，结果同样表明Vox-ZSDA性能最优，说明图结构自监督对于三维cryo-ET未知域泛化具有更强适用性。论文还通过可视化结果展示，所提方法得到的分割区域更接近真实粒子边界与结构轮廓。
九、Ablation Study
消融实验进一步验证了各模块的独立贡献。对Vox-UDA而言，IBF相较于NGM去噪和标准BF去噪均能带来额外提升，说明基于梯度的边缘保持机制更适合灰度体数据。模块消融显示，NGM和伪标签策略均能单独提升性能，而联合使用效果最好。噪声类型比较发现，高斯噪声优于泊松噪声和斑点噪声，支持论文所采用噪声模拟方式的合理性。参数分析则确认目标采样数、滤波比例和多层一致性损失权重的设置具有经验最优性。对Vox-ZSDA而言，切比雪夫距离优于欧氏距离，表明教师图投影需要与学生图相异但仍具稳定相似性约束；随机选点替代动态图对比学习会削弱性能，证明所设计节点选择机制确有助于抑制噪声干扰、突出结构信息。
十、Potential future work: Exploring the possibility of Zero-shot learning from Subtomogram to Tomogram
在这一探索性部分，研究人员尝试将零样本学习从亚断层图推广到更复杂的整幅断层图分割。由于断层图中同时包含多种粒子且类别可能从未在训练中出现，论文提出“zero-shot cryo-ET segmentation”任务设想，并构建了一个结合IBF、三维Vision Transformer和蛋白语言模型（PLM）的初步框架，用于对视觉特征与蛋白序列特征进行对齐。基于SHREC2021数据的初步实验提示，这一方向具有可行性，但当前性能仍不理想，尚需进一步深入研究。该部分并非本文主结论，却显示出作者希望将结构感知分割与跨模态生物先验进一步结合的研究潜力。
从讨论角度看，本文的核心贡献在于首次在cryo-ET亚断层图分割中系统建立体素级UDA与ZSDA研究范式，并给出配套基准数据与方法体系。Vox-UDA通过噪声生成与去噪伪标签联合建模，同时处理噪声水平不匹配和分子类别不一致两类关键域偏移问题；Vox-ZSDA进一步将问题推进到训练期完全无目标域参与的更高难度场景，通过自监督图学习和动态图对比约束聚焦于更具可迁移性的结构表征。其重要意义在于，研究为利用低成本模拟数据替代大量真实标注数据提供了可行路径，显著降低了cryo-ET自动分割的应用门槛，也为后续三维生物成像中的目标缺失泛化、未知分子识别以及结构驱动跨域学习奠定了方法基础。
论文结论部分可译述为：该研究提出了用于cryo-ET亚断层图分割任务的体素级无监督域适应方法Vox-UDA。具体而言，Vox-UDA由噪声生成模块（NGM）和去噪伪标签（DPL）策略构成。NGM为源域数据生成目标样式高斯噪声，而DPL利用改进双边滤波（IBF）为伪标签生成提供去噪后的目标域数据，从而提升分割性能。此外，研究人员还提出了Vox-ZSDA，这是一种面向训练阶段无法获得目标数据这一更具挑战场景的体素级零样本域适应方法。Vox-ZSDA结合自监督图学习策略与动态图对比学习技术，以增强模型对分子结构分割的能力。大规模实验验证了所提方法的突出性能，并建立了首个面向cryo-ET亚断层图分割任务的UDA与ZSDA基准。进一步地，研究还探索了由亚断层图迁移至断层图的零样本cryo-ET分割可能性，提出了基础模型结构及初步对比实验，以期为未来未知分子检测研究提供启发。
