《Engineering Applications of Artificial Intelligence》：A plug-and-play intra-class variance suppression framework for industrial anomaly detection
编辑推荐：
基于无监督学习的异常检测方法有望在诸多领域获得广泛应用，特别是在工业产品缺陷检测领域。其优势主要在于对异常类型不可预测性的鲁棒性，以及跨类别学习数据不平衡的适应性。此类方法的核心前提是：当特征提取器或图像重构器仅基于正常数据训练时，无法完全复现异常数据的特征或
基于无监督学习的异常检测方法有望在诸多领域获得广泛应用，特别是在工业产品缺陷检测领域。其优势主要在于对异常类型不可预测性的鲁棒性，以及跨类别学习数据不平衡的适应性。此类方法的核心前提是：当特征提取器或图像重构器仅基于正常数据训练时，无法完全复现异常数据的特征或输入。因此，可通过设定阈值来检测提取特征或重构输出中的偏差以实现异常检测。然而，在现实场景中找到一个能够有效区分正常与异常数据的最优阈值仍面临重大挑战。正常数据内部的固有变异性是造成这一挑战的重要因素。本研究中，研究人员提出一种简单而有效的类内方差抑制框架，使异常检测模型能够通过学习正常数据的紧凑表示来抑制类内变异性。研究人员在三种成熟的无人监督异常检测范式上评估了所提出的框架，即生成对抗学习、知识蒸馏和反向蒸馏。实验在多个基准数据集上进行，包括手写数字图像、自然物体图像、工业异常检测基准数据集以及两个额外的真实工业数据集。结果表明，所提出的框架能够持续提升异常检测与定位性能，特别是在实际的工业质量检测场景中。
该论文题为"A plug-and-play intra-class variance suppression framework for industrial anomaly detection"，由日本山梨大学工学的Ziwei Song、Yixuan Ju、Prawit Buayai、Gangyong Jia和小山阳共同完成，发表于《Engineering Applications of Artificial Intelligence》。研究聚焦于工业场景中的视觉异常检测（Visual Anomaly Detection）问题，旨在解决现有方法中正常数据类内变异过大导致异常判别困难的核心痛点。
研究背景方面，异常检测与定位技术旨在识别异常图像并 pinpoint（定位）呈现异常模式的区域，在工业质量检验等场景具有广泛应用价值。异常通常仅占图像的极小比例，且其罕见性与多样性使得收集和标注充足训练数据极为困难，导致数据集严重不平衡，正常样本占绝对主导。现有方法主要分为两类：基于数据增强（Augmentation-based）的方法通过模拟合成缺陷来缓解异常样本稀缺问题，如CutPaste通过裁剪粘贴图像块制造空间扰动，SimpleNet在特征空间添加高斯噪声，RealNet利用强度可控的扩散异常合成生成异常；基于异常值检测（Outlier Detection-based）的方法则仅使用正常数据训练，分为基于重构的方法（如自编码器、生成对抗网络即GAN）和基于嵌入的方法（如利用预训练卷积神经网络提取特征并通过高斯分布或归一化映射到表示空间）。后者虽更具实用性，但嵌入方法缺乏可解释性，且两类方法均面临关键局限：忽视了正常数据内部的固有变异性。随着特征在卷积层中的传播，这种变异性往往被放大，有时甚至导致正常特征间的差异大于正常与异常特征间的差异，使得阈值设定极为困难。
针对上述问题，研究人员提出了一种类内方差抑制（Intra-class Variance Suppression）框架，通过批级别正则化损失来抑制正常样本间的类内变异性，促使模型学习更紧凑、一致的正常数据表示，从而改善异常判别能力。该框架的核心设计哲学不同于Center Loss（中心损失）或Deep SVDD等方法：它不引入显式类中心、超球约束或额外优化目标，而是作为轻量级批级别正则化项，能够无缝集成到现有异常检测模型中，不改变原有训练目标或网络架构，具有即插即用（Plug-and-play）、模型无关（Model-agnostic）的特性。
研究人员将该框架应用于三种代表性异常检测模型：基于生成对抗网络重构的GANomaly模型、基于学生-教师知识蒸馏（Knowledge Distillation）的ST模型，以及基于反向蒸馏（Reverse Distillation）的RD模型。实验涵盖MNIST手写数字数据集（70,000张灰度图像）、CIFAR-10自然物体数据集（60,000张彩色图像）、MVTec AD工业检测基准数据集（15个对象类别的高分辨率图像）、VisA数据集（10,821张图像，12个对象类别），以及两个真实工业数据集BELLOWS（10,863张正常图像、401张异常图像，包含烧焦和变形两类异常）和Onion（40,239张正常图像、328张异常图像，采集自真实洋葱加工工厂，使用GoPro Hero 10相机在传送带上方30cm处拍摄，经YOLOv8裁剪和人工筛选）。
研究所用关键技术方法包括：第一，基于余弦距离（Cosine Distance）的批级别类内方差抑制损失L
var，对批次内中间层特征计算与批次均值特征的余弦距离平均值，以实现特征方向对齐；第二，特征层选择策略，在编码器-解码器架构中通常选择瓶颈层（Bottleneck），在学生-教师或蒸馏框架中附加于学生网络中间特征；第三，批尺寸设置于16至64之间以平衡方差估计稳定性与异常敏感性；第四，损失权重λ通过网格搜索在0.5至5范围内调节，以平衡方差抑制与模型原有目标。该损失在推理阶段不引入任何计算开销。
研究结果部分，"应用于生成式方法"方面：在MNIST数据集上，所提方法在10个数字类别中的8个超过原始GANomaly模型，平均AUROC从78.2%提升至83.27%；在更具挑战性的CIFAR-10上，所有类别均实现提升，"plane"、"ship"、"truck"等类别提升超过30个百分点，平均AUROC从61.0%大幅提升至86.72%，表明该方法在复杂数据分布下捕捉细微规律的能力。消融实验显示：余弦距离显著优于曼哈顿距离和欧氏距离；批大小128时性能达峰；作用于潜在变量z时检测精度最高，λ在CIFAR-10上最优为100、MNIST上为40。
"应用于知识蒸馏方法"方面：在MVTec AD上，ST+所提框架在9个类别的分类和7个类别的定位中优于基线，"transistor"从85.55%提升至90.20%，"toothbrush"从92.17%提升至95.83%；在VisA上，异常检测达90.06%、定位达90.96%。可视化热图显示该方法缓解了过检测问题并显著提升了异常定位准确性。消融表明：余弦距离最优；批大小32时达峰；应用于浅层特征F1（即S9层输出）效果最好，深层特征逐渐衰退；λ=1时综合最佳。
"应用于反向蒸馏方法"方面：在MVTec AD上，RD+所提框架在15个类别中的14个实现分类性能提升，平均AUROC从98.5%提升至99.2%，12个类别的定位性能提升；VisA上同样获得一致增益。消融显示：余弦距离显著优于其他度量；批大小16最优；浅层块D1应用效果最好；λ=1时性能最佳。但在高度复杂纹理类别（如PCB、candle）上提升不明显甚至略降，因批级别操作依赖稳定的批次内分布，当物体自然变异过大时，基于余弦的抑制可能难以保留必要区分度。
"应用于基于增强的方法"方面：在SimpleNet上，于level 3特征层应用L
var达到99.61%的AUROC，优于基线99.57%；在RealNet上亦观察到一致性能提升，图像级达99.67%、像素级达99.04%的SOTA性能，且不修改原模型架构。使用B-spline结构化噪声替代高斯噪声后，level 2设置获得99.86%的平均AUROC，验证了方法在不同扰动设置下的鲁棒性。计算开销分析显示，增加损失仅带来1%-4%的额外训练时间。
"真实工业场景中的工业部署"方面：BELLOWS和Onion两个真实工业数据集上，所有模型集成框架后均优于基线。GANomaly提升1.1%和0.2%；ST从92.14%提升至92.60%、99.61%提升至99.99%；RD达96.7%和98.6%；SimpleNet(level 3)达87.2%和99.8%。部署级指标显示RD+框架在洋葱数据集上真阳性308、假阳性18、真阴性3072、假阴性23，准确率93.75%、召回率93.05%；BELLOWS上真阳性388、假阳性25、真阴性111、假阴性13，准确率92.92%、召回率96.76%。
研究结论部分，讨论与局限性方面：该框架在单类别-单模型设置下验证了有效性，这是工业异常检测中广泛采用的范式。然而，当前未扩展到统一异常检测（Unified Anomaly Detection）设置——即单一模型同时处理多类别，未来需解决跨类别负迁移和类间可分离性维持问题。此外，框架有效性受超参数λ和批大小影响，需在实际应用中平衡方差抑制与表示表达能力。尽管如此，其简洁性、即插即用性以及跨异构模型和数据集的一致性能增益，表明抑制过度类内方差是工业异常检测中普遍有益的归纳偏置，使其成为当前异常检测系统中实用且可扩展的组件。未来工作将探索向实时场景的扩展，以增强工业适用性。
