《Entropy》：Analysis of Influencing Factors of CBOW Model in Natural Language Processing Based on Quantum Neural Network
编辑推荐：
为了解决传统连续词袋（CBOW）模型在自然语言处理（NLP）中特征提取能力有限和训练效率不足的问题，量子神经网络增强的CBOW模型（QNN-CBOW）将量子神经网络（QNN）与CBOW模型集成，有效提升了训练性能。本研究旨在系统性地探究关键因素（激活函数类型、
为了解决传统连续词袋（CBOW）模型在自然语言处理（NLP）中特征提取能力有限和训练效率不足的问题，量子神经网络增强的CBOW模型（QNN-CBOW）将量子神经网络（QNN）与CBOW模型集成，有效提升了训练性能。本研究旨在系统性地探究关键因素（激活函数类型、量子特征提取层数、上下文窗口大小和量子门噪声水平）在受控的小规模模拟条件下对模型行为的敏感性和影响模式。采用控制变量法进行对比实验，以阐明每个因素的影响机制。本文提出了一项噪声中等规模量子（NISQ）时代的概念验证研究，为量子神经网络与传统NLP模型的融合与优化提供了理论基础和实践参考。
# 基于量子神经网络的CBOW模型影响因素分析：概念验证与实证研究
## 研究背景与问题
自然语言处理（NLP）中的词嵌入模型是下游任务的基础。传统连续词袋（CBOW）模型通过上下文词线性组合预测中心词，具有结构简单、训练效率高的优点，但其依赖经典神经网络全连接层进行特征提取，存在特征表达能力有限、难以捕获词语间复杂语义关联的问题，且易收敛于局部最优。量子计算凭借量子叠加和纠缠等特性，在处理高维数据和复杂非线性问题上展现出超越经典计算的潜力。量子神经网络（QNN）将量子计算与经典网络结构结合，通过量子电路构建特征提取模块，可提升高维数据处理能力并降低模型复杂度。然而，现有量子增强NLP研究仍处于概念探索阶段，缺乏对关键参数影响机制的系统分析，且参数配置方案尚未明确。论文旨在针对噪声中等规模量子（NISQ）时代，通过控制变量法在经典量子模拟器上系统研究四个核心因素——激活函数类型、量子特征提取层数、上下文窗口大小和量子门噪声水平——对QNN-CBOW模型行为的定性和定量影响，为量子神经网络与传统NLP模型的融合优化提供理论基础与实践参考。该论文发表在《Entropy》期刊上。
## 主要技术方法
研究人员基于MindSpore Quantum编程工具包，在经典量子模拟器（mqvector，4核CPU、8 GB内存、256 GB磁盘）上构建QNN-CBOW模型。模型输入层采用上下文词独热向量，量子编码层通过角度编码将词向量映射为量子态（使用Hadamard门初始化均匀叠加态，RX旋转门编码），量子特征提取层由RY旋转门和CNOT门构成层叠式Ansatz电路（可调层数），经典语义映射层则通过全连接层将量子测量期望值（Z基）转换为经典语义向量，最后经Softmax输出中心词概率分布。实验采用自制英文语料（约64词，唯一词汇43个），通过滑动窗口采样生成58个训练样本，统一设置词嵌入维度10、隐藏层维度128、批量大小3、训练轮数350、动量优化器（学习率0.01，动量系数0.9）及稀疏Softmax交叉熵损失函数，利用控制变量法比较不同参数配置下的损失、准确率和困惑度（PPL）指标。
## 研究结果
### 3.1 激活函数类型
通过固定量子特征提取层数为2、窗口大小为2，对比ReLU、Tanh、Sigmoid和Softsign四种激活函数。实验发现，ReLU和Tanh使损失在Step=3000时趋近于0，收敛迅速；Softsign在早期波动后于Step=5000收敛；Sigmoid则在Step=7000后仍振荡不收敛，原因是Sigmoid的饱和特性加剧了量子层梯度衰减，导致参数更新失效。ReLU因非饱和性和优异梯度保持能力成为最优选择。激活函数类型对优化耗时影响微小（主要耗时在量子电路模拟），但显著影响QNN-CBOW的准确率与PPL：Sigmoid下准确率远低于其他函数且PPL值显著升高，而经典CBOW算法对各激活函数不敏感。
### 3.2 量子特征提取层数
在ReLU激活函数下，研究2至7层量子特征提取层的影响。结果表明，随着层数增加，优化耗时呈线性增长（量子电路深度增加所致），但损失值在所有层数（2–7）下均保持较低水平，其中4层和5层时损失极小。准确率和PPL指标显示，所有层数设置均达到100%准确率且PPL接近1，即量子特征提取层数对预测性能无显著影响，但适当增加层数可在不牺牲性能的前提下优化训练效果，需权衡计算开销。
### 3.3 上下文窗口大小
在ReLU和3层量子层设置下，比较窗口大小W=1至5。W=2时损失收敛最佳且准确率最高；W=1因上下文信息不足导致损失曲线分裂为多条平行线，无法收敛；W=4或5时因引入过多冗余语义信息，损失曲线频繁振荡，准确率下降，PPL升高。经典CBOW模型在W=2至5范围内均保持稳定性能，而QNN-CBOW对窗口大小敏感，窗口过小缺乏量子态编码所需的上下文特征，过大则导致量子态混叠和干扰，削弱语义捕获能力。
### 3.4 量子计算硬件噪声水平
固定最佳参数组合（ReLU、3层量子层、W=2），在经典模拟器中引入不同量子逻辑门保真度F。F=0.9999时，平均准确率>95%，平均PPL≈1.389；F=0.995时，准确率降至50%以下，PPL超过5；F=0.985时，PPL接近20（词汇表大小为43），模型退化至随机猜测。噪声通过退相干和门操作误差直接破坏量子叠加态与纠缠态，累积的门保真度衰减（M次门操作后保真度仅为F
M）导致量子嵌入表示严重失真，使得模型无法提取有效上下文依赖。
## 讨论与结论
研究总结指出，激活函数类型显著影响QNN-CBOW的收敛速度与精度，ReLU为最优自适应激活函数；量子特征提取层数在一定范围内适度增加可提升特征提取能力，但会线性增加计算开销，超过特定范围后提升不显著；上下文窗口大小与数据集特性强相关，过小或过大均损害性能；量子硬件噪声严重恶化模型输出质量，实现实际应用需高保真度、低噪声的量子硬件。研究局限性包括：实验基于经典模拟器、未在真实量子硬件验证；量子层电路采用固定门组合与串行结构，缺乏自适应设计；未在专业领域长文本数据集上验证泛化性能。未来工作拟在NISQ真实硬件上部署模型、开发混合量子-经典优化策略（如结合SPSA）、扩展至大规模领域语料库并探索自适应量子Ansatz电路。
**研究结论**：本文构建了量子神经网络增强的CBOW模型（QNN-CBOW），通过控制变量法系统分析了激活函数类型、量子特征提取层数、上下文窗口大小及量子噪声水平等关键因素对模型性能的影响，阐明了各因素的影响规律与内在作用机制。研究发现，ReLU激活函数因其非饱和特性可有效保证量子层梯度传递并抑制量子测量噪声，是最优选择；量子特征提取层数的适度增加能提升特征提取能力但带来线性计算开销；上下文窗口尺寸需与数据集特性匹配，中等窗口（W=2）为最优；量子硬件噪声严重降低QNN-CBOW性能，高保真度器件是实际应用的前提。这些发现为量子神经网络的架构设计与参数优化提供了坚实的理论和实践基础，从而推动量子自然语言处理技术的发展。
