Cheese3D 能够敏感检测和分析小鼠全脸运动

《Nature Neuroscience》：Cheese3D enables sensitive detection and analysis of whole-face movement in mice

　　

面部表情和运动，从细微而短暂的面部扭曲到剧烈而快速的咀嚼，为神经和生理过程的瞬时变化提供了直接洞见。小鼠具有可辨别的面部反应和进化上保守的哺乳动物面部运动控制回路，是阐明面部运动与潜在状态之间联系的理想模型。然而，由于其小而锥形的外形因素，现有框架缺乏足够高的空间或时间分辨率来灵敏地追踪小鼠面部的所有运动。研究人员介绍了一种计算机视觉系统 Cheese3D，它使用校准的六相机阵列捕捉整个小鼠面部（包括耳朵、眼睛、触须垫和下颌，覆盖脸部两侧）的高速三维运动。这个可解释的框架提取了具有解剖学意义的三维面部特征的动态，精度达到亚毫米级，并以绝对世界单位表示。Cheese3D 生成的高精度全脸运动数据提供了清晰的见解，正如概念验证实验所示：从变化的面部模式预测麻醉深度，从整个面部的快速吞咽运动推断牙齿和肌肉解剖结构，测量由脑干刺激引发的运动之间的微小差异，以及将神经活动与自发的面部运动（包括仅在三维中可测量的表情特征，例如耳部运动角度）相关联。Cheese3D 可以作为一种发现工具，将细微的小鼠面部运动转化为对原本隐藏过程的高度可解释的读数。

论文解读：Cheese3D——高分辨率三维小鼠全脸运动捕捉与分析系统

一、 研究背景、问题与研究意义

面部表情和运动是反映健康与疾病状态的强有力指标，能揭示从疼痛、情绪到感官输入的生理过程。小鼠作为模式生物，其面部运动控制回路在哺乳动物中具有进化保守性，是研究面部运动与神经、生理过程之间关联的理想模型。然而，由于小鼠面部尺寸小、呈圆锥形，现有技术难以在足够的时空分辨率下捕捉其全脸运动。现有方法通常专注于单个面部区域（如触须、舌头）或单侧部分区域的运动，或依赖静态图像而忽略动态信息，抑或虽然实现了三维全身追踪，但尚未在分析微小面部运动所需的高分辨率下进行评估。因此，开发一种能够精确、灵敏地量化小鼠全脸三维运动的系统，对于揭示面部运动作为大脑和身体状态的高带宽、非侵入性“读出窗口”的潜力至关重要。本研究在《Nature Neuroscience》上报道的Cheese3D系统，正是为了解决这一技术瓶颈而生，其重要意义在于为神经科学、生理学和行为学研究提供了一种全新的、高精度的面部运动分析工具。

二、 主要技术方法

研究人员开发了名为Cheese3D的硬件与软件集成框架。关键技术包括：

1. 1.
   六相机同步采集系统：采用三对高速相机（共六台）从不同角度（正面、侧面、半侧面）同步拍摄小鼠面部，以克服单相机视野局限。
2. 2.
   定制化头戴与固定装置：使用定制的轻量化头戴，确保小鼠舒适且面部特征无遮挡，适用于自然行为记录。
3. 3.
   三维关键点追踪：在C57BL/6J小鼠面部定义了27个关键点，利用现有的无标记姿态估计工具（如DeepLabCut, DLC和Anipose）进行二维关键点检测，并通过多视图校准和三角测量重建三维坐标。
4. 4.
   解剖学意义的三维几何特征提取：基于三维关键点，计算了17个具有解剖学意义的三维几何特征，包括距离、角度、面积和体积（如眼睛高度、耳朵角度、鼻子隆起体积、触须垫隆起体积、嘴部面积等），这些特征以世界单位（毫米、度等）表示，具有物理可解释性。
5. 5.
   抖动抑制与验证：利用多视图冗余减少关键点追踪抖动，并通过与高精度三维扫描仪数据对比，验证了系统测量的准确性。此外，还集成了交互式可视化工具，便于同时查看输入视频、追踪的三维点和输出特征。

三、 研究结果

1. Cheese3D captures robust 3D whole-face movement in mice (Cheese3D捕获稳健的小鼠三维全脸运动)

研究人员建立了由六台同步高速相机组成的硬件系统，并设计了解剖学导向的三维面部关键点集。通过将该系统与三维扫描仪测量结果进行对比，验证了Cheese3D在测量静态面部几何特征（如眼、耳尺寸、鼻子隆起体积等）方面的准确性。实验表明，六相机阵列对于可靠捕获整个面部（包括中线特征和最外侧特征如耳朵）的运动至关重要，缺少某些相机会导致特定面部区域的测量误差。

2. Reduction of tracking noise enables precise measurement of subtle and transient movements across facial regions (降低追踪噪声可实现对面部各区域细微和瞬态运动的精确测量)

通过分析麻醉小鼠静止期的数据，量化了关键点追踪的固有抖动。研究发现，与二维关键点相比，经过三维三角测量和重投影后的关键点，其抖动显著降低。与现有的二维面部追踪工具Facemap相比，Cheese3D在可比的面部区域（眼、鼻、触须垫）显示出更低的抖动水平。这种噪声的降低使得系统能够检测到更细微、快速的面部运动。

3. Uncovering underlying physiology from external facial movements (从外部面部运动揭示潜在生理过程)

• •
  预测麻醉深度：记录小鼠在氯胺酮/甲苯噻嗪麻醉诱导及恢复期间的面部运动。研究发现，某些面部特征（如耳角、眼高、鼻子隆起体积）的变化具有跨会话和小鼠的刻板模式，可以像“秒表”一样追踪麻醉诱导后的时间。利用这些特征预测时间的效果，与使用脑电图（EEG）频率带功率预测的效果相当。此外，研究人员构建了一个线性模型，仅使用过去的面部特征历史，就能较好地预测当前EEG频率带（theta, delta, sub-delta）的功率。在麻醉再给药实验中，Cheese3D特征能清晰区分对照组和再次接受麻醉药组，表明其可作为麻醉深度的非侵入性指标。
• •
  分析咀嚼运动学：记录小鼠进食脆性食物颗粒时的面部运动。通过分析嘴部关键点形成的三角形面积（嘴部开口），可以清晰地区分摄入（食物在门齿处）和咀嚼（食物在白齿处）两个阶段，其转变时间明确。全脸运动分析还发现，在咀嚼（而非摄入）阶段，眼球突出与嘴部运动存在时间相关性，这与啮齿类动物咀嚼肌的解剖结构（环绕眼眶基部）相符。此外，在连续提供食物颗粒的实验中，随着摄入颗粒数增加，小鼠开始张嘴摄食的延迟时间显著增加，可能反映了饱腹感的变化。

4. Linking facial movement to motor control machineries using synchronized Cheese3D with electrophysiology (通过同步Cheese3D与电生理学将面部运动与运动控制机制相联系)

• •
  脑干电刺激：在麻醉小鼠脑干特定区域进行局部电刺激，并记录面部运动响应。Cheese3D能够检测到小至2.66微米的眼高变化，且响应幅度随刺激电流增强。不同空间位置的刺激会引发不同面部特征的局部化运动响应，揭示了面部运动控制的拓扑结构。同时，也观察到了涉及多个面部区域的复合运动以及面部的侧化不对称响应。
• •
  同步神经记录：在清醒小鼠脑干（桥脑尾侧网状核，PnC等区域）进行细胞外单单元记录，并与Cheese3D数据同步。研究发现，某些神经元的发放率与特定的三维面部特征（如耳角）高度相关，并能根据耳部运动的方向进行调节。利用泊松广义线性模型（GLM），仅使用单个Cheese3D面部特征即可预测部分脑干神经元的瞬时发放率，解释了显著的神经活动方差。这证明了Cheese3D具有将自发性神经活动与精确面部运动动力学联系起来的能力。

四、 讨论与结论

Cheese3D旨在为利用小鼠全脸运动来发现广泛应用的潜在生理功能提供一个可解释的框架。与旨在跨身体部位和物种通用的新兴动物行为追踪方法不同，Cheese3D是专门为研究小鼠面部运动设计的高分辨率工具。其多相机阵列设置有助于在三维空间中可靠地进行无标记面部关键点识别，并抵消了单相机设置中的遮挡和变形。它还减少了与二维方法相比的关键点抖动，能够检测细微运动，并允许准确捕捉固有的三维运动。这些相对于其他面部区域的精确空间位置被捕获在三维几何特征中。记录单个面部区域的运动及其与整个面部的时空关系是有意义的，因为面部运动的构建模块——面部肌肉组织和直接控制它们的脑干核团——是高度拓扑排列的。

概念验证工作证明了Cheese3D在检测和表征细微运动以及显著且随时间变化的运动方面的实用性。分析揭示了信息丰富的同步面部运动模式，可用于从可见的（外部同步面部运动）推断不可见的（内部解剖和生理功能）。特别是，两个几乎相同的面部运动之间的细微差异能够反映巨大的内部变化。通过脑干电刺激，研究人员证明了Cheese3D检测这种差异的能力，说明了其揭示面部行为作为神经活动信息丰富、高带宽读数的潜力。此外，由脑干模式化刺激揭示的空间变化的面部反应表明，Cheese3D与精确同步的电生理学相结合，可以挖掘面部控制机制的功能组织，补充了从解剖学追踪中推断的现有知识。事实上，在清醒小鼠脑干记录的初步发现中，识别出了与方向性耳部运动相关的潜在桥脑尾侧网状核神经元。

研究人员将Cheese3D设计为可供其他研究面部运动的人员使用。他们证明了六台相机是捕捉全脸动态的理想选择；然而，有限的设置仍然可以通过选择优先考虑相关面部区域的视角子集来利用Cheese3D。尽管不在当前工作范围内，但此处详细描述的框架可以适用于不同品系的小鼠、自由活动设置以及发育追踪。研究人员预计，这种方法将通过允许对小鼠身体状态的瞬时变化进行非侵入性读数，从而在生物学和医学的各个领域实现重要发现。由Cheese3D实现的高分辨率、全脸运动学数据的潜在应用是广阔的，并可能激发一个将面部运动与疾病、药物暴露、神经过程或其他生理功能引起的大脑和身体变化联系起来的新时代定量研究。