一种基于改进版BERT和注意力机制的英语翻译教学模型智能评估方法

《Scientific Reports》：An intelligent assessment method for English translation teaching model based on improved BERT and attention mechanism

　　

摘要

本文提出了一种结合改进版BERT模型和注意力机制的两步交互式融合方法，作为英语翻译教学的智能评估工具。自适应融合BERT网络（AFBNet）旨在解决仅通过微调方法难以有效利用复杂语言知识的问题。具体步骤包括提取BERT的多层表示、构建掩码知识矩阵，并将BERT中预训练的知识应用到编码词嵌入层。随后，注意力机制模块会交互式地提取BERT多层表示中的有用信息，并与我们的英语翻译教学模型进行适配性融合。实验结果表明，AFBNet在五项翻译任务中的BLEU评分相比基础Transformer模型提高了约2.6至4.4分，具体提升幅度因任务而异。在我们的实验中，AFBNet在德语相关任务上的表现不如BERT-JAM，但在其他多个方向上取得了更优异的结果。总之，本文提出的这种结合改进版BERT和注意力机制的两步方法有效缩小了预训练模型与英语翻译教学模型之间的差距（这些模型的训练目标不同）。AFBNet能够充分利用预训练的语言知识来提升英语翻译教学模型的性能。该方法特别适用于需要细粒度语义评估以及在数据有限条件下进行稳健评估的英语翻译教学场景。