MoST：一种用于可扩展且可验证的神经模糊聚合的单调集变换器

《Neural Networks》：MoST: A monotone set transformer for scalable and verifiable neuro-fuzzy aggregation

　　

Jih-Jeng Huang|Chin-Yi Chen

摘要

在从医学诊断到信用评分等安全关键领域中，用于处理集合结构化数据的学习算法必须满足严格的理论公理：排列不变性、单调性和计算可扩展性。然而，深度学习架构与公理聚合理论之间的联系仍然较为薄弱。基于最近关于可求和分解集合表示的研究成果，我们形式化并指出了典型加法架构（Deep Sets）中的一个基本效率限制：为了使用可注入的可求和分解编码器精确表示基本统计量，求和池化操作需要线性特征缩放（$m=\Omega \left(N\right)$' role="presentation">$m=\Omega \left(N\right)$），这使得这些算法在适用于“胜者通吃”逻辑时效率低下。相反，标准的注意力机制由于竞争性归一化而违反了单调性。为了解决这一差距，我们提出了Monotone Set Transformer（MoST），这是一种可验证的神经模糊架构。MoST采用了双管齐下的设计：（1）基于正核的可学习非竞争性门控机制，用于近似超模块协同效应；（2）基于有序加权平均（OWA）的语义锚点，实现了具有O(Nlog?N)复杂度的显式排名依赖聚合。我们证明了MoST在构建上保持了集合包含关系的单调性。在符合理论的控制合成环境中，MoST可以实现近乎精确的最大值聚合，而补充实验显示其具有比注意力基线更强的单调性保证以及更好的时间/内存扩展性。在分子生物学任务中，研究结果突显了严格单调约束与无约束预测灵活性之间的任务依赖性权衡。