基于物理知识的神经网络在语音生成中的应用

《Artificial Life》：Physics-Informed Neural Networks for Speech Production

　　

摘要：

基于声带和声道物理模型的语音产生分析对于研究声带行为和语言学研究至关重要。本文提出了一种使用物理信息神经网络（PINNs）的语音产生分析方法。这些网络直接根据声带振动和声道声学的控制方程进行训练。声带碰撞会导致不可微分性和梯度消失，这对PINNs来说是一个挑战。然而，我们证明了引入一个可微分的近似函数可以在PINN框架内分析声带振动。自激声带振动的周期通常是未知的。我们展示了通过将周期视为一个可学习的网络参数，可以获得一个周期性解。此外，通过将声门流与声道声学的耦合作为一个硬约束来实现，从而在不增加额外损失项的情况下实现声门-声道相互作用。我们通过正向和反向分析验证了该方法的有效性，证明了可以从语音信号中同时估计出声门流速、声带振动状态和声门下压力。值得注意的是，相同的网络架构可以应用于正向和反向分析，这突显了这种方法的多功能性。所提出的方法继承了PINNs的优势，包括无网格计算和自然地结合非线性特性，因此具有广泛的应用前景。