PSCSE：基于提示的对比学习结合样本过滤技术，用于无监督的句子嵌入

《Scientific Reports》：PSCSE: prompt-based contrastive learning with sample filtering for unsupervised sentence embedding

　　

摘要

无监督的句子表示学习在自然语言处理中至关重要。最近，对比学习方法通过优化嵌入空间的对齐性和一致性取得了显著的性能提升。然而，现有的主要方法主要集中在对正样本的数据增强上，而忽视了对负样本的采样方法。大多数方法依赖于随机批量采样来生成负样本，这可能导致误判（即产生假阴性）并影响模型的判别能力。为了解决这个问题，我们提出了一种基于提示的对比学习方法——带样本过滤的无监督句子嵌入（PSCSE）。在所提出的模型中，我们使用“NOT”风格的提示（例如：“这句话：[X] 并不意味着 [MASK]”）生成的合成负样本来优化学习到的表示的一致性。此外，我们还使用了辅助编码器来进行样本过滤，以减少误判的情况。我们在语义文本相似性数据集上进行了实验，结果在平均斯皮尔曼相关系数评分上超越了现有的主流方法 SimCSE、E-SimCSE 和 PromptBERT，最高提升了 1.0 分。