小脑通过效价的结构化表征支持适应性行为控制

《SCIENCE ADVANCES》：The cerebellum implements structured representation of valence to support adaptive behavior control

　　

研究人员认为，动物会在大脑中形成代表安全与危险的内部模型，从而通过习得的关联实现回避。尽管小脑被认为与主动回避有关，但其在构建内部模型中的作用尚不清楚。在此，研究人员结合钙成像（Calcium imaging）和闭环虚拟现实（closed-loop virtual reality）技术，在成年斑马鱼中检验了参与回避学习的小脑环路。斑马鱼以电击作为指导信号，以小脑依赖的方式学习将视觉线索与安全或危险联系起来。小脑背侧的输出神经元和浦肯野细胞（Purkinje cells，PCs）发展出了对线索的选择性反应。输出神经元编码了两种效价状态，其中偏好危险的细胞占主导，而浦肯野细胞则表现出更强的危险偏好。在线索反转后，神经元的选择性适应了新的规则。安全选择性和危险选择性的输出神经元在空间上是分离的，表明存在用于效价处理的解剖学上专门化的单元。光遗传学抑制浦肯野细胞的电击相关输入会损害规则更新。总之，研究人员的结果表明，小脑形成了安全和危险的内部模型，从而实现了适应性的回避行为。

本文以成年斑马鱼为模型，揭示了小脑在主动回避学习中通过构建和更新内部模型，对安全与危险等效价信息进行结构化表征，从而支持适应性行为控制的核心作用。动物为了生存，需要将感官线索与潜在的后果（如安全或危险）相关联，并据此调整行为，这一过程被称为主动回避条件反射。在哺乳动物中，这一学习过程涉及杏仁核、内侧前额叶皮层（medial prefrontal cortex, mPFC）和伏隔核（nucleus accumbens, NAc）等多个脑区。在斑马鱼中，端脑区域（类似于哺乳动物的杏仁核和新皮层）以及缰核-中缝核环路也被发现参与主动回避。近年来的研究提示小脑也对这一过程有所贡献。小脑通过跨脊椎动物保守的神经环路执行多种功能。浦肯野细胞（PCs）和颗粒细胞（granule cells, GCs）分别是小脑主要的γ-氨基丁酸能（GABAergic）和谷氨酸能神经元。GCs接收来自苔状纤维（mossy fibers, MFs）的输入，MFs起源于多个前小脑核团，携带多种感觉和运动相关信息。这些信号通过平行纤维（parallel fibers, PFs）直接或经由中间神经元传递给PCs，提供了预期性的背景信号。PCs还接收来自下橄榄核（inferior olive）的兴奋性爬行纤维（climbing fibers, CFs）输入，CFs编码指导性的错误信号；CF活动也可以反映正向强化信号。通过整合PF和CF输入，PCs调控谷氨酸能输出神经元——在哺乳动物中是深部小脑核团（deep cerebellar nuclei, DCNs），在斑马鱼中是室管膜下细胞（eurydendroid cells, ECs）——的活性，后者将信息传递至其他脑区。尽管物种间存在解剖学差异，但PCs整合MF和CF衍生信号，并通过输出神经元中继信息的这一特征在脊椎动物中是保守的。小脑通过构建模拟动作预期后果的内部模型，参与多种学习范式，从而实现预测性调整和高效控制。在运动学习中，此类内部模型被认为通过最小化感觉预测误差（sensory prediction errors）来预测和优化运动输出。有学者提出，类似的心智功能内部模型机制可能指导行为。小脑环路已被牵涉到超出运动适应的学习形式中。例如，巴甫洛夫瞬目条件反射（Pavlovian eyeblink conditioning）就是小脑依赖性联想学习的著名例子。在这一范式中，条件刺激（conditioned stimulus, CS）如听觉或视觉线索，与非条件刺激（unconditioned stimulus, US）如角膜电击配对，导致动物仅对CS产生反应。CS信息主要通过MFs（在一定程度上通过CFs）传递给PCs，而US信息则主要通过CFs传递。类似地，在操作性条件反射（operant conditioning）中——即奖赏引导感觉线索与运动行为的关联——CFs传递预测奖赏或奖赏省略的指导性错误信号，GCs则被证明编码对奖赏的预期。这些发现支持了小脑环路整合汇聚输入以形成指导习得行为的内部模型的观点。然而，小脑如何整合输入以构建代表动机或情绪效价（如安全、危险或奖赏）的内部模型，并利用其指导适应性行为，仍不清楚。斑马鱼已被广泛用于研究小脑功能。对幼鱼的研究表明，PCs在功能上是异质的，不同的小脑区域参与运动控制的不同方面，小脑环路参与学习依赖的运动规划和适应。这些发现支持斑马鱼小脑通过感觉反馈调节运动行为来实施内部模型的观点。斑马鱼可以从幼鱼到成鱼阶段习得主动回避条件反射，尽管学习效率因厌恶性US类型和实验构型而异。在这些范式中，鱼类学习执行一个动作以避免即将到来的威胁，通常是将感官线索与电击、热刺激或触觉刺激联系起来。研究人员此前证明，在成年斑马鱼中，通过表达破伤风毒素抑制GCs或PCs，或消融PCs，会抑制主动回避条件反射。这些发现表明，小脑环路形成了代表危险和安全的内部模型，以指导逃跑反应。近期，一个闭环虚拟现实（virtual reality, VR）范式被开发出来，用于在自由游泳的鱼类中进行行为实验，其中环境颜色线索作为CS，电击作为US。在本研究中，研究人员结合基于闭环VR的学习、功能性钙成像（functional Ca2+ imaging）和光遗传学（optogenetics），研究了小脑环路如何贡献于构建驱动适应性回避行为的内部模型。
研究结果表明，主动回避依赖于小脑神经环路。研究人员使用了一个先前报道的用于头部固定成年斑马鱼的闭环VR装置的轻微改进版本。鱼被固定在定制的束缚具中，置于一个被液晶显示器（LCD）环绕的小水箱中，形成沉浸式VR环境。尾部运动通过头顶红外相机记录，并转化为虚拟前进运动，从而在闭环系统中模拟主动游泳。在此环境中，斑马鱼接受GO/NOGO主动回避任务的训练，其中背景颜色作为视觉线索：蓝色表示危险，红色表示安全。在GO任务中，鱼类必须在10秒内从危险线索（蓝色）区域游向安全线索（红色）区域，以避免1秒的电击。在NOGO任务中，鱼类需要停留在安全线索（红色）区域10秒，如果进入危险线索（蓝色）区域则会受到1秒电击。初始的适应期（无电击）之后是三个训练期，每个训练期包含30个随机化的GO和NOGO试次，失败时施加电击。与先前报道一致，NOGO试次的成功率从第一个训练期就很高。相比之下，GO试次的成功率在第一个训练期较低，但随着训练期的进行而逐步提高。如果在训练期间的任何时间点，鱼类在GO和NOGO任务中连续10次试次至少有8次成功，则被归类为学习者。在所有测试的鱼（n = 181）中，46.4%在闭环VR条件下达到了这一标准。为了检验小脑在主动回避学习中的作用，研究人员测试了PC消融鱼的GO/NOGO任务表现。使用转基因品系Tg(aldoca:epNTR-TagRFP)特异性地消融PCs。与野生型（wild-type, WT）对照组（n = 17）相比，PC消融鱼（n = 12）在GO任务学习上表现出显著损害，在所有三个训练期的成功率均持续较低。这些结果表明，涉及PCs的小脑环路对于成年斑马鱼在VR设置中进行主动回避学习至关重要。
研究人员进一步表征了小脑输出神经元ECs对安全和危险线索的反应。使用学习者鱼类（n = 10）对ECs进行钙成像。通过广义线性模型（generalized linear model, GLM）分析发现，在训练期间，最初无选择性的EC群体逐渐分化为两个不同的亚群：一个具有增加的红色权重和更负的蓝色权重，另一个具有增加的蓝色权重和更负的红色权重，这反映了学习过程中颜色选择性反应的出现。根据其权重分布，被定义为“安全ECs”（253个细胞）和“危险ECs”（551个细胞）。时间动态分析显示，随着训练的进行，危险ECs在进入危险线索（蓝色）区域时立即变得活跃，在进入安全线索（红色）区域时被迅速抑制。相反，安全ECs在进入安全线索区域时被激活，在危险线索区域活动减少。值得注意的是，即使在运动输出未改变的试次中，ECs的活动也保持稳定，这表明ECs不直接控制运动输出，而是提供指导行为的指导性信号。
为了评估对规则变化的神经反应，研究人员在线索与电击的关联反转后（红色现在表示危险，蓝色表示安全），引入了反转期。分析发现，大部分危险ECs和安全ECs在反转后适应了新规则，其颜色选择性发生了相应转变。空间分布分析显示，危险ECs和安全ECs在小脑背侧存在空间上的分离：危险ECs更靠近中线，而安全ECs则更偏向外侧。
研究人员还对PCs进行了钙成像。分析发现，到训练期3结束时，PC树突也分化出了对危险和安全线索有选择性反应的亚群，且表现出比ECs更强的危险偏好。在反转期，PC树突也灵活地适应了新规则。此外，分析发现，危险PCs对电击反应更强且潜伏期更短，而安全PCs在预期电击未出现（预测误差）时表现出更强的激活。这表明，不同强度或类型的教学信号，以及PCs对这些信号敏感性的差异，可能驱动了它们分化为危险响应和安全响应亚型。
为了检验电击相关输入到PCs的作用，研究人员在反转学习期间使用光遗传学技术抑制了这一输入。结果显示，抑制这些输入会损害鱼类在GO和NOGO任务中对反转规则的适应，表明电击相关的输入对于学习期间的规则更新至关重要。
在讨论部分，研究人员总结了小脑在主动回避学习中的贡献，即通过构建编码安全和危险效价的内部模型来支持适应性行为。研究揭示了小脑组织的一个新特征：相反的效价特异性亚群共存于同一类型的神经元中，但在小脑背侧空间上是分离的。这表明小脑在心理状态中实施了结构化的效价表征，以支持适应性行为控制。这种空间分隔的组织可能类似于哺乳动物中被描述的“上行”和“下行”微带（microzones），为涉及恐惧相关决策的下游前脑环路提供双向控制。研究结果强调，小脑环路在学习期间利用预期信号，在规则反转期间利用预测误差信号，灵活地修改效价表征，从而支持适应性行为。这些发现揭示了小脑在联想学习中的关键作用，推动了对内部模型如何在跨脑区的复杂学习过程中被构建和灵活更新的理解。
研究结论部分指出：本研究结果表明，小脑形成安全和危险的内部模型，以实现适应性的回避行为。这些发现揭示了小脑在效价表征和内部模型形成中的一个之前未被认识到的、关键的作用，阐明了小脑对联想学习的重要贡献。