《Artificial Life》：The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
编辑推荐：
为应对复杂管弦乐场景中音乐源分离（source separation）的挑战，研究人员针对古典音乐领域，创建了名为“The Spheres”的数据集。该数据集基于Colibrì Ensemble在专业录音室录制的柴可夫斯基与莫扎特作品，包含超过一小时的多轨录音（含23个麦克风信号）及房间脉冲响应，支持监督式分离模型的训练。实验展示了该数据集在声部家族分离与麦克风串音消除等任务上的应用价值，为管弦乐源分离、声源定位、去混响等MIR任务提供了重要的基准数据，推动了古典音乐的沉浸式渲染研究。
在古典音乐的数字化分析与欣赏领域，如何从复杂的交响乐总谱中清晰地剥离出小提琴的悠扬旋律，或者单独聆听圆号的深沉声响，一直是一个颇具吸引力的目标。这项任务，在音乐信息检索（Music Information Retrieval, MIR）研究中被称为音乐源分离（Music Source Separation）。它不仅能让乐迷定制个性化的聆听体验，比如只听弦乐部分，更能为音乐教育、自动记谱、再混音等应用打下基础。然而，与流行音乐中相对清晰的乐器编曲不同，管弦乐作品以其庞大的编制、丰富的和声与复杂的声学交互而闻名。数十种乐器在音乐厅中同时发声，声音在空间中混合、反射，通过多个麦克风录制时还会产生不可避免的串音（bleeding）。这种高度复杂的声学环境，使得为管弦乐开发精准的源分离算法变得异常困难。一个核心瓶颈在于，长期以来缺乏一个专为这类复杂场景设计的高质量、多轨、真实录音的数据集。现有数据集往往规模有限，或是在过于“干净”（无串音、无混响）的合成环境下生成，难以反映真实音乐厅录音的挑战。为了填补这一空白，推动机器学习在古典音乐MIR任务中的发展，一项名为“The Spheres”的研究应运而生。
为了构建这一宝贵资源，研究团队与Colibrì Ensemble合作，在专业的The Spheres录音室录制了超过一小时的音乐素材。录音曲目选择了两部经典管弦乐作品：柴可夫斯基的《罗密欧与朱丽叶》幻想序曲和莫扎特的《第40号交响曲》。除了完整的乐章，为了更精细地分析乐器特性，还录制了每个乐器的半音阶和独奏片段。研究的关键技术方法核心在于精密的录音设置与数据构造。他们部署了总计23个麦克风，形成了三层拾音体系：贴近每种乐器的点麦克风（close spot microphones）用于捕捉最直接的声源信号；一组主麦克风（main microphones）用于录制传统的立体声混音；以及环境麦克风（ambient microphones）用于捕捉音乐厅的空间混响。这种设置使得研究人员能够基于原始多轨素材，合成出具有可控串音量的、逼真的立体声混合版本，从而模拟真实的录音产品。同时，分离出的每个乐器的点麦克风信号则作为“干净”的源信号（或称“茎”，stems），为监督式学习的源分离模型提供了高质量的训练目标和评估标准。此外，研究还估算了每个乐器位置对应的房间脉冲响应（Room Impulse Response, RIR），这精确量化了录音空间的声学特性，为研究去混响（dereverberation）和声源定位（localization）提供了关键数据。最后，通过详细的声学分析和一系列基线实验，展示了该数据集在具体任务上的应用潜力。
研究结果通过多个维度呈现了The Spheres数据集的特性与价值。首先，在数据集结构与声学分析部分，论文详细阐述了音频文件的分层组织方式（原始多轨、混合立体声、分离的茎、RIR等），并提供了对录音空间声学特性（如混响时间）的量化分析，为后续研究建立了可靠的基准。其次，在管弦乐家族分离实验中，研究人员利用数据集训练了源分离模型，尝试从立体声混合音中分离出弦乐、木管、铜管和打击乐等乐器家族。结果表明，在如此复杂的管弦乐混合音中，即使使用先进模型，要实现高保真度的家族级分离仍然面临显著挑战，尤其是在音色相近、和声交织紧密的乐器组之间，这凸显了该数据集所代表问题的难度。最后，在麦克风串音消除实验中，研究探索了如何从某个乐器的点麦克风录音中去除其他乐器串进来的声音。实验证明，利用多麦克风信息可以有效建模并减少串音，验证了数据集在研究和评估“去串音”（debleeding）这一特定任务上的实用性。
综上所述，这项研究成功创建并发布了“The Spheres”数据集，这是一个专为古典音乐源分离及相关MIR任务设计的高质量、多轨管弦乐录音资源。它通过精心的录音设计，提供了真实的立体声混合音、分离的乐器茎信号以及关键的房间脉冲响应，从而能够支持从监督式源分离模型训练到声学特性分析等一系列研究。实验结果表明，该数据集能够有效揭示复杂管弦乐场景下源分离任务的核心难点，包括乐器家族间的干扰和麦克风串音问题。其重要意义在于，它为学术界提供了一个急需的、贴近真实应用场景的基准测试平台，将推动针对古典音乐这一重要领域的、更鲁棒和精细的音乐源分离、声源定位、去混响以及沉浸式音频渲染技术的发展，最终促进计算音乐学与音乐产业的深度融合。
