Transformer增强的实例分割用于受控成像条件下自动鲫鱼表型分析

《Fishes》：Transformer-Enhanced Instance Segmentation for Automated Crucian Carp Phenotyping Under Controlled Imaging Conditions

　　

鱼类表型分析（fish phenotyping）在生长评估、选择性育种和精准水产养殖中扮演重要角色。传统表型测量方法劳动强度大、耗时长，且易受观测者差异影响。为提高测量效率和可重复性，该项研究提出了一种基于Transformer增强实例分割（Transformer-enhanced instance segmentation）的自动鱼类表型分析框架。具体而言，将Mask2Former解码器集成到Mask R-CNN架构中，以改善边界描绘和分割质量。基于分割输出，利用主成分分析辅助方向估计（PCA-assisted orientation estimation）和几何测量自动提取表型参数，包括体长（body length, BL）、体高（body height, BH）和投影面积（projected area）。此外，引入了由12个参考点组成的标准化解剖地标标注框架（standardized anatomical landmark annotation framework），以支持可重复的表型描述和未来可扩展的形态测量分析。研究人员进一步基于提取的形态特征使用多项式回归（polynomial regression）估算体重。实验在受控成像条件下使用三个鲫鱼品种的图像进行。所提出框架实现了92.7%的平均精度均值（mean Average Precision, mAP）和89.4%的边界交并比（Boundary Intersection over Union, Boundary IoU），分割性能优于基线模型。自动测量的平均相对误差：体长为2.16%，体高为3.85%；体重预测的决定系数（R²）为0.9479，平均相对误差为7.31%。这些结果表明，Transformer增强的分割能够在标准化条件下支持准确、高效的自动表型分析，并为未来在更复杂水产养殖环境中的应用奠定基础。

**基于Transformer增强实例分割的自动鲫鱼表型分析：研究解读**

**研究背景与问题**
鲫鱼（*Carassius auratus*）在淡水养殖中具有重要经济价值，其体形与出肉率和外观直接相关，是育种的关键性状。传统表型测量依赖人工使用游标卡尺获取体长、体高和头长等指标，存在劳动强度大、耗时长、易受操作者差异影响等问题，尤其当鱼体挣扎或体表黏液干扰时，测量一致性和重复性难以保证。因此，亟需一种低成本、便捷、高效的高通量表型分析方法。计算机视觉技术，特别是实例分割（instance segmentation），为自动提取形态参数提供了可能。然而，现有模型在真实复杂水产养殖环境下（如水体浑浊、光照不均、鱼体运动模糊及遮挡）常产生边界粗糙的掩膜，导致表型测量精度下降。近年来，基于Transformer的架构（如Mask2Former）凭借全局上下文建模能力在通用分割基准上表现优异，但在鱼类表型分析中，仍缺乏针对鲫鱼的标准化形态关键点标注体系以及跨品种泛化能力的系统评估。为此，该研究旨在提出一种Transformer增强的实例分割框架，实现高效、可重复的自动表型分析。

**研究内容与结论**
该研究在受控成像条件下，对三种形态差异明显的鲫鱼品种（白鲫WCC、红鲫RCC及杂交种WR）进行图像采集，共350张高分辨率图像。研究人员将Mask2Former变换器解码器集成到Mask R-CNN架构中，构建混合分割模型；基于分割输出结合主成分分析（PCA）方向估计与几何测量自动提取体长（BL）、体高（BH）和投影面积；同时建立包含12个解剖地标的标准化标注框架（P1–P12）；并采用多项式回归基于形态特征预测体重。实验结果表明：所提框架在IoU阈值0.5–0.95下达到平均精度均值（mAP）92.7%，边界交并比（Boundary IoU）89.4%，较基线Mask R-CNN分别提升3.2和7.3个百分点；体长和体高自动测量的平均相对误差分别为2.16%和3.85%；体重预测的多项式模型决定系数（R²）为0.9479，平均相对误差7.31%，优于线性及幂函数模型。完整处理流程每幅图像耗时2.4 s，较人工测量的38–60 s提升16–25倍，且消除观测者间差异。该研究发表在《Fishes》。

**关键技术方法**（不超过250字）
①数据采集与标注：使用MV-CA050–20UC工业相机和ZX-SF1614S镜头在定制摄影箱中（均匀LED照明、白色背景）获取图像；对300尾鱼（每品种100尾，来源：教育部多倍体鱼繁殖与育种工程研究中心，长沙）进行MS-222麻醉后采集；手动测量体长、体高（数字游标卡尺，精度±0.02 mm）和体重（电子天平，精度±0.01 g）作为参照标准；图像标注包含像素级分割掩膜和12个解剖地标。②网络架构：基于Mask2Former的变换器解码器替换Mask R-CNN中原有的全卷积掩膜头，使用ResNet-50骨干网络结合特征金字塔（FPN）提取多尺度特征，并附加轻量级关键点回归头预测地标热图。③表型参数提取：通过阈值筛选（置信度>0.9）、最大连通域提取及形态学操作处理掩膜；采用PCA计算鱼类主轴方向，从最小外接旋转矩形中获取体长与体高，按标定尺转换为物理单位。④体重预测模型：以投影面积、体长、体高作为输入，使用多项式回归进行估计。

**研究结果**（保留小标题简述）
**3.1 分割与检测性能**：通过整体平均精度（mAP）和边界交并比对比，所提混合架构较基线Mask R-CNN分别提升3.2%和7.3%（mAP 92.7%，Boundary IoU 89.4%），推理时间从2.1 s增至2.4 s。体长和投影面积检测率达100%，体高检测率95.71%，12个地标检测率在88.57%–100%之间，最低为P7（尾鳍下基）受边界模糊影响。
**3.2 表型测量精度**：自动提取体长与体高平均相对误差分别为2.16%和3.85%，最大相对误差低于11%，视觉检查显示增强模型在复杂轮廓区域（如鳍边缘和尾边界）分割精度显著提升。
**3.3 分割结果可视化**：对WCC、RCC、WR三个品种的展示表明，模型在显著形态差异下仍实现完整鱼体分割，边界清晰，尤其在鳍和尾区域保持保真度。
**3.4 体重预测结果**：多项式回归模型（R² = 0.9479，RMSE = 19.05 g，MRE = 7.31%）优于线性模型（R² = 0.9055，MRE = 9.73%）和幂函数模型（R² = 0.9110，MRE = 8.92%），公式包含投影面积、体长、体高的交互项。
**3.5 系统效率**：每幅图像完整流程耗时2.4 s，较人工测量的38–60 s提升16–25倍，消除观测者间变异。

**讨论与结论**
讨论部分指出，所提混合架构通过Mask2Former的像素级交叉注意力有效捕获长距离空间依赖，在鳍边、尾缘等精细结构上表现出色；建立的12个地标标准化参考系统可消除主观测量变异，并支持进一步形态指数计算。模型在三种鲫鱼品种间展现出初步的跨品种迁移能力，但所有实验均在受控条件下进行，尚不能推广至跨物种场景。对于体重预测，多项式模型因捕捉形态特征的非线性交互效应优于简单模型，但R²略低于部分文献（>0.99）可能源于物种形态差异及样本量限制。局限性包括：所有图像在室内受控条件下采集，自然水体鲁棒性待验证；跨品种泛化仅限鲫鱼内部，扩展至其他经济鱼种需额外训练；当前2.4 s/image在边缘设备上需进一步优化（如知识蒸馏、剪枝）；未与YOLOv8-seg、DeepLabv3+等现代模型进行系统比较。未来工作将聚焦于实际养殖环境验证、多物种扩展及轻量化部署。
研究结论部分翻译如下：该项研究提出了一种Transformer增强的实例分割框架，用于受控成像条件下鲫鱼的自动表型测量。通过将Mask2Former解码器集成到Mask R-CNN架构中，所提方法显著改善了分割边界质量，同时保持实际计算效率。实验结果表明，该框架实现了92.7%的平均精度均值（mAP）和89.4%的边界交并比（Boundary IoU），较基线Mask R-CNN模型分别提升3.2和7.3个百分点。自动表型提取得到的体长平均相对误差为2.16%，体高为3.85%。此外，整合投影面积、体长和体高的多项式回归模型实现了准确的体重估计（R² = 0.9479，MRE = 7.31%）。完整流程每幅图像仅需2.4 s，较传统手动测量效率提升16–25倍，并消除了主观观测者变异。另外，建立了一个包含12个预定义地标（P1–P12）的标准化解剖地标框架，以提高表型描述的一致性和可重复性。需注意的是，体长和体高测量主要来源于分割掩膜结合PCA辅助方向估计与几何特征提取，而地标模块作为标准化解剖参考系统，支持可扩展的形态测量分析和未来的表型应用。在三种形态差异明显的鲫鱼品种（WCC、RCC和WR）上的验证表明，在中度形态变异下分割和测量性能稳定，显示出初步的跨品种迁移能力。然而，由于所有实验均在受控实验室成像条件和鲫鱼种群内进行，当前发现不应解释为跨物种泛化的证据。总体而言，所提框架为自动鱼类表型分析提供了高效、可重复的解决方案，对生长监测、选择性育种和精准水产养殖具有实用价值。未来工作将聚焦于提高在真实水产养殖环境（涉及变化的光照、浑浊度、鱼体运动和遮挡）中的鲁棒性；将验证扩展到更多物种和生命阶段；并开发面向实时应用的轻量化部署策略。