《Current Opinion in Structural Biology》:From filtering to denoising: Increasing visual interpretability of cryo-electron tomograms
编辑推荐:
冷冻电子断层成像(cryo-electron tomography, cryo-ET)已成为原生保存生物样本超微结构分析及原位结构解析的主流技术。每个细胞断层体数据均蕴含成像分子组装的宝贵信息,有望带来新的科学发现,但同时也伴随大量噪声。此类噪声结合原始冷冻电
冷冻电子断层成像(cryo-electron tomography, cryo-ET)已成为原生保存生物样本超微结构分析及原位结构解析的主流技术。每个细胞断层体数据均蕴含成像分子组装的宝贵信息,有望带来新的科学发现,但同时也伴随大量噪声。此类噪声结合原始冷冻电子断层成像体数据通常较低的对比度,严重阻碍了发现进程。为克服断层体重建及重建后处理层面的这一障碍,该领域已采用多种图像处理技术,涵盖从合并降采样(binning)、低通滤波(移除通常噪声更高的傅里叶高频成分)到基于神经网络的去噪器。本文综述了当前研究中使用的各类方法,并展望了利用神经网络提升断层体视觉可解释性的一系列新开发策略,以期提高新发现的产出效率。研究人员首先描述了经典方法(如合并降采样、滤波与反卷积),随后详细阐述了当前常用的基于神经网络(neural network, NN)的去噪方法,最后讨论了前沿的基于神经网络的工作流程,并专门分析了所有上述技术对断层体视觉可解释性的具体影响。此外,为帮助冷冻电子断层成像处理领域的新手,研究人员基于涵盖多种样本类型、处理目标与研究团队的30篇近期出版物,标注了这些技术的常用程度及适用参数设置。
提升冷冻电子断层成像体数据视觉可解释性的依据
冷冻电子断层成像数据集,尤其是针对减薄细胞样本的数据,蕴含着丰富的原位结构与超微结构信息。领域内已建立大量工作流程,通过提取选定信息来解答特定生物学问题,例如针对目标复合物进行亚断层平均(subtomogram averaging)、评估特定组装体的分布、追踪选定的纤维类型或测量膜特性。然而,在应用这些技术的数据集中,仍有大量生物学信息未被挖掘。注意到断层体内的特定细节不仅能引出新问题,还能通过进一步分析提供答案。这类可能开辟新研究方向的关键细节的发现,高度依赖于断层体的视觉可解释性。经加权背投影(weighted back projection, WBP)重建后的原始断层体固有噪声高、对比度有限,因此图像处理技术成为重要工具,用于提升断层体内容对观察者的可及性,理想情况下也可提升计算分析的可行性。本文首先介绍经典的非神经网络方法,再阐述当前基于神经网络的去噪方法,最后讨论前沿的神经网络工作流程及其对视觉可解释性的影响,并基于30篇近期文献给出实用参数参考。
不使用神经网络的视觉可解释性提升方法
合并降采样(binning)是最常用的提升视觉可解释性并减小数据体积的方法。传统做法是对输入体素块取均值生成输出体素;进阶方法如带抗混叠滤波的重采样或傅里叶裁剪,可自由选择输出像素尺寸,已成为IMOD、WARP等软件的标准功能。所有合并降采样均通过平均信号、去除含噪比例更高的高频成分来提高信噪比(signal-to-noise ratio, SNR)。常用合并因子为4–8,最终像素尺寸约10 ?/像素,这被证明是专家解读特征、神经网络分割(中位数11.6 ?)、粒子挑选(中位数13.4 ?)及模板匹配(中位数10.32 ?)的最佳平衡点,兼顾分辨率与时间成本。
除合并降采样外,滤波也是常用手段。低通滤波(lowpass filtering)通过抑制或去除高于设定频率的傅里叶分量来提高信噪比,但需避免过度损失可能影响颗粒识别的细节。中值滤波(median filter)以邻域体素的中值替代中心体素值,核尺寸多为3×3×3或5×5×5,可有效去除椒盐噪声并保留边缘,多次迭代可增强效果但存在收敛上限。非局部均值滤波(non-local means filtering)利用结构特征的自我相似性增强重复出现的信号,常用于Amira软件的纤维追踪流程,以提升纤维的相对信号强度。此外,非线性各向异性扩散与双边滤波可沿边缘平滑而不跨越边缘,虽曾受关注但目前应用较少。
SIRT类滤波(SIRT-like filter)可在加权背投影过程中替代典型的斜坡滤波器,模拟同步迭代重建技术(simultaneous iterative reconstruction technique, SIRT)的效果,使膜层、衣壳蛋白、核糖体等低分辨率特征更易与背景区分,同时避免SIRT重建中可能出现的阴影和低频伪影。反卷积(deconvolution)则通过部分逆转对比传递函数(contrast transfer function, CTF)的作用,补偿第一CTF峰之前的低频信息衰减,常与高频抑制结合使用(如WARP的实现方式),提升膜、纤维及大型复合体的可见性,适用于手动标注或数据可视化,其效果高度依赖CTF估计的准确性。
成熟的基于神经网络的去噪方法
基于神经网络的去噪已广泛整合入冷冻电子断层成像处理流程,支持可视化、手动标注、分割及粒子挑选。典型做法是在待处理断层体或相同采集条件下的子集上进行网络训练,使其适配特定数据。其中,Noise2Noise策略最为常用,基于同一样品倾转系列(tilt-series)的奇偶帧分别重建的断层体对进行训练,区分信号与噪声,实现于cryoCARE、WARP、Topaz等软件中。虽然理论上也可基于奇偶倾转角重建对进行训练,但因输入体积差异不仅源于噪声,质量往往较差。Noisier2Noise是另一种可选方案,例如在Isonet中实现,通过将含人工噪声的输入体积与其受损版本配对训练,同时进行缺失楔填充。该方法在概念上不如Noise2Noise理想,因为人工添加的噪声未必与实际采集噪声一致。
新一代去噪器
Isonet的缺失楔恢复功能独立于其去噪能力受到重视。在此基础上,新一代神经网络去噪器整合了类似功能并采用不同策略。DeepDeWedge通过在训练数据中引入人工缺失楔学习恢复,其实质为结合Noisier2Noise策略与Noise2Noise式去噪,处理后的断层体较“cryoCARE去噪+Isonet填充”的结果更平滑,噪声去除更多,但可能导致部分高分辨率信号丢失。
Icecream同样结合了Noise2Noise式去噪与缺失楔恢复,但预处理、网络架构及损失函数不同,去噪更强且高分辨率特征保留更好。即便使用无关样本预训练,仅需约1小时单GPU的目标特异性微调,即可达到随机初始化模型全量训练的效果。
Isonet2延续类似策略,采用Noise2Noise启发式去噪与神经网络CTF校正,并在统一训练循环中同时学习缺失楔填充。相比前代,其在相近手动调参成本下显著提升图质量,预印本展示的处理后断层体可直接评估纯化核糖体的tRNA占位情况,并在无需平均的情况下识别莱茵衣藻(Chlamydomonas reinhardtii)线粒体内ATP合酶结构域。
CryoLithe利用其物理信息驱动的局域神经网络架构,直接在倾转系列而非断层体上进行训练,输入为经cryoCARE去噪及Isonet处理的加权背投影重建结果,可直接从倾转系列重建出去噪且缺失楔填充的断层体。该方法的一大优势是可不经重训直接应用于新数据,速度显著优于需针对数据集甚至单个断层体优化的现有方法。鉴于Icecream与Isonet2的性能表现,若用二者输出的重建结果替代cryoCARE与Isonet组合作为CryoLithe的训练输入,有望进一步提升其输出质量。
CryoSamba基于原为视频插帧设计的增强双向运动估计(Enhanced Bi-directional Motion Estimation, EBME)网络,训练其对(亚)断层体的水平(xy)平面对进行插值,并以中间平面为真值。训练完成后,网络通过分层方法,利用周围平面插值数据增强每一xy平面的信息。与早期Noise2Noise策略相比,该方法在同等降噪水平下更好地保留了高频信息,且可直接应用于已重建断层体,无需提供分裂重建或额外元数据,但需针对每个体积单独训练,更适合小数据集或单个断层体。
CryoTIGER虽不以传统意义去噪为目标,同样采用深度学习帧插值方法(FILM)增强冷冻电子断层成像数据,但其作用于倾转图像之间,预测额外倾转角并整合至断层体重建过程。所得体积更利于模板匹配、神经网络粒子挑选及分割,并已用于描述原位染色质超微结构与染色小体结构。当前版本虽无法无缝整合入所有工作流程,但提供两种预训练FILM模型,可直接应用而无须重训。
由于真实冷冻电子断层成像数据缺乏无噪声真值,前述软件多直接或间接依赖Noise2Noise与Noisier2Noise策略。另一途径是利用人工生成数据:通过模拟兼具真实采集物理特性与生物内容的逼真数据集,生成无噪真值及噪声损坏版本用于训练。Stojanovska等人利用cryo-TomoSim软件生成包含多样大分子与拥挤环境的不同厚度体积,投影为不同离焦下的倾转系列并经加权背投影转为断层数据集,构建了含真值与损坏(高斯高通、低通、高斯噪声及随机体素掩蔽)断层体的训练集,并开发了CryoSiam神经网络框架,除去噪模块外还包含语义与实例分割模块。与CryoLithe类似,CryoSiam的去噪功能可广泛适用于各类断层数据,无需额外训练且推理时间短。
比较与注意事项
研究人员选取两类示例断层体,对比了多种滤波与神经网络去噪方法对视觉可解释性的提升效果。所有方法均在不同程度上改善了膜、核糖体及纤维等大型特征的直接可见性。在成熟方法中,SIRT类滤波以极短计算时间取得显著效果,非局部均值滤波结果更优但耗时更长(CPU处理bin4断层体需数小时,而SIRT类滤波仅需数秒)。相比之下,CryoLithe与CryoSiam在标准GPU上仅需数十分钟,在贴近或远离训练数据的样本中均产出更洁净的结果,前者通常抑制噪声更彻底,后者则提供更强对比度。本次演示选用这两款软件是因为它们无需预训练即可直接应用,与经典方法类似。未来系统性的定量基准测试将帮助研究人员选择最适策略,除光学评估外,还应结合优化训练流程,测试其对神经网络粒子挑选的准备效果,通过假阳性率、假阴性率及坐标偏移进行评估。对部分用户而言,计算时间、训练成本及与现有流程的整合难度可能比去噪质量差异更为关键。
未来几年,基于神经网络的去噪器,尤其是新一代工具,将通过揭示原本隐藏的特征,推动不同样本类型与科学问题的研究进展。但需注意,神经网络可能产生幻觉伪影,尤其在缺失楔填充功能中,因傅里叶空间空缺区域的信息由模型生成,必须在不处理或仅经滤波的原始断层体中通过目视确认关键发现(如已知实体间的密度连接)。此外,感兴趣区域的像素值可能被改变,因此灰度测量(如评估囊泡货物异同)应在原始断层体上执行。去噪网络通常会衰减高频信号,可能掩盖特定细节,这也解释了为何在去噪断层体或其提取的颗粒上进行模板匹配与亚断层平均时,性能往往低于未处理数据。