关于音乐声音听觉选择性注意解码算法的研究

《Applied and Computational Harmonic Analysis》：Research on decoding algorithm of auditory selective attention to musical sound

　　

谢冠宏|吴喜红

摘要

关于听觉选择性注意力的研究表明，与听者所关注的听觉对象相关的信息会反映在其神经反应中。尽管大多数基于脑电图（EEG）的研究都集中在语音上，但使用EEG分析音乐听觉刺激的研究仍然较为有限。本研究通过行为测试和EEG分析来探讨对复调音乐的听觉选择性注意力。研究引入了一种结合卷积神经网络（CNN）和双向长短期记忆（BiLSTM）网络的解码模型，以整合空间和时间上的EEG特征。该模型分析了关键的声学属性，包括响度、音高和音色，并提出了一种解码算法来识别被关注的音乐流。利用CNN-BiLSTM听觉注意力解码（AAD）框架，在2秒的决策窗口内，研究实现了78.6%的准确率。结果表明，该模型能够可靠地检测出双源混合音中的目标音乐对象。对音乐听觉选择性注意力的更深入理解可能有助于开发用于客观音乐评估和听力测试的工具。