一种基于几何边界约束(Geometric Boundary Constraints)的开集识别(Open Set Recognition, OSR)方法

《Neurocomputing》：An open set recognition method based on geometric boundary constraints

　　

在实际应用场景中，智能识别模型需具备开集识别（Open Set Recognition, OSR）能力。训练阶段仅能获取已知类（Known Class）数据，而测试阶段可能出现未知类（Unknown Class）样本，模型须在保持已知类高准确率的同时识别出未知类样本。因此，估计已知类与未知类之间的边界至关重要。本文提出一种新颖的开集识别方法，通过强化已知类与未知类样本间的分离性来扩展原型学习（Prototype Learning, PL）。该方法通过三重边界实现：原型边界（Prototype Boundary, PB）、对抗开空间边界（Adversarial Open space Boundary, AOB）及已知类校准边界（Known Calibrated Boundary, KCB）。PB通过约束原型位置增强模型的OSR能力；AOB通过对抗生成未知类与已知类间的学习建立判别合理的未知类边界；KCB通过校准模型以更好区分已知与未知类样本，对前两者形成补充。在公开数据集上的大量实验表明，引入PB的原型学习优于仅使用已知类信息的现有方法，达到当前最优（State-of-the-Art, SOTA）性能；此外，结合三重边界与未知类生成技术的原型学习方法同样取得SOTA性能。

论文解读：一种基于几何边界约束的开集识别方法——发表于《Neurocomputing》

一、研究背景与立项依据

当前深度学习识别方法多基于闭集（Closed Set）假设，即测试样本标签必须包含于训练标签集中，不允许出现新类别。然而真实场景为开集（Open Set）环境，测试阶段会出现训练时未见过的未知类（Unknown Class）。传统Softmax分类器在闭集表现优异，却常将未知类以较高置信度误判为已知类（Known Class），产生不可接受后果，尤其在自动驾驶与医疗诊断领域。为缓解此问题，广义卷积原型学习（Generalized Convolutional Prototype Learning, GCPL）利用每类原型（Prototype）计算特征距离进行分类，打破Softmax对特征均匀分布的假设，减轻过置信问题，但无法控制原型位置，导致部分原型滞留于特征空间低激活区（Low-activation Region），造成已知类与未知类特征重叠。反向原型学习（Reciprocal Point Learning, RPL）引入远离已知类样本的反向点（Inverse Point / Reciprocal Point）将已知类推出低激活区；对抗反向原型学习（Adversarial Reciprocal Point Learning, ARPL）进一步学习镜像未知类边界的对抗边界。然而研究人员指出，仅挖掘已知类特征不足以区分与已知类高度相似的未知类，且真实未知类样本难以获取。现有方法如利用生成对抗网络（Generative Adversarial Network, GAN）生成反事实样本仍存在局限。因此，Sun Zhanhao等人开展本研究，提出基于几何边界约束的开集识别方法，通过三重边界约束组织特征空间以提升OSR性能，并在多个数据集上验证其达到SOTA水平。

二、主要关键技术方法概述

研究人员采用VGG32及VGG32ABN作为骨干网络。方法核心为三个几何边界约束协同作用：(1) 原型边界（Prototype Boundary, PB）：将各已知类原型推离特征空间低激活区域，防止原型滞留造成已知—未知类特征混淆，仅基于已知类数据训练；(2) 对抗开空间边界（Adversarial Open space Boundary, AOB）：通过GAN生成模拟未知类样本，经生成器与判别器对抗训练，使生成样本分布于已知类特征球之外的开空间（Open Space），形成合理的未知类决策边界；(3) 已知类校准边界（Known Calibrated Boundary, KCB）：对已知类特征分布进行紧凑性约束与校准，增大已知类与AOB生成未知类间的可分离性。超参数为λ_PB、λ_AOB、λ_KCB及γ，原型由随机高斯分布初始化，开空间边界半径r_open初始化为0，原型边界半径r_proto初始化为1，优化器选用Adam。实验在MNIST、EMNIST、KMNIST及更多标准开集数据集上进行，数据预处理含随机中心裁剪与随机水平翻转。

三、研究结果

Open set recognition

开集识别中将未知类辨识视为二分类问题，早期基于支持向量机（Support Vector Machine, SVM）如1-vs-set、W-SVM、I-SVM，深度方法则由Dhamija等人等推进。本文在此基础上引入几何边界约束完善特征空间组织。

Problem definition

研究人员采纳文献中开空间（Open Space）与开空间风险（Open Space Risk）定义：设训练集含C个已知类，开放空间为距任一已知训练样本足够远的域。以闭球B(x_i,δ)表示以样本x_i为中心、半径δ的邻域，Ω_known为包含所有已知训练样本及开空间的更大半径球。开空间风险用以衡量模型将开空间误判为已知类的概率，本文方法通过PB、AOB、KCB最小化该风险。

Implementation details

为确保公平对比沿用ARPL之VGG32/VGG32ABN架构。设定λ_PB、λ_AOB、λ_KCB及γ超参数，原型随机高斯初始化，r_open=0，r_proto=1，生成器与判别器均用Adam优化。除MNIST、EMNIST、KMNIST外采用随机中心裁剪与随机水平翻转增强。

Conclusion

研究人员通过大量实验证实：(1) 仅引入PB之原型学习（PL+PB）较其他仅依赖已知类信息的原型方法计算复杂度更低且OSR能力更优，在F-measure与AUROC指标上超越GCPL与RPL；(2) 基于AOB生成之未知类信息比现有GAN反事实生成更利于OSR任务；(3) 联合KCB校准后，已知类与生成未知类间分离效果显著增强；(4) 三重边界联合之完整模型（PL+PB+AOB+KCB）结合未知类生成技术在标准OSR基准上达到SOTA性能，验证了几何边界约束有效组织logit特征空间并降低开空间风险。

四、讨论与结论翻译

讨论指出，本文所提几何边界约束框架弥补了传统原型学习中原型位置不受控及未知类边界模糊之缺陷。PB确保原型处于高判别区，AOB提供具有判别力的开空间排斥区域，KCB进一步收紧已知类分布。三者协同使模型在仅有已知类训练数据或辅以生成未知类时均能稳健拒绝未知类。该方法在保持已知类分类精度的同时显著提升未知类检测率，对安全敏感之实际应用具重要意义。

研究结论部分原文翻译：

本文提出一种基于几何边界约束的开集识别方法，有效组织logit特征空间以提升模型开集识别能力。大量实验证明本方法相较其他先进方法具显著优势，主要体现在：(1) 方法计算复杂度较低，所提基于原型学习思想的PL+PB方法利用原型……（下略原文列举条目大意已涵盖于上文结果综述）。本工作获CNNC Leading Innovation Project (CNNC-LCKY-202251)资助。