PAGF：三维面部关键点的短视界预测

《Mathematics》：PAGF: Short-Horizon Forecasting of 3D Facial Landmarks Mingzhu Yan, Ye Yuan, Jian Liu and Fangyan Yang

　　

短视界面部关键点预测对于人–机器人交互（HRI）中的预期性面部行为至关重要，然而基于点态重建损失训练的模型常受均值回归（mean reversion）困扰，产生低误差但运动动力学被削弱的预测。为解决该问题，研究人员提出了一种峰感知门控循环单元（GRU，gated recurrent unit）框架，将预测分解为峰值规划（peak planning）与峰值条件化轨迹生成（peak-conditioned trajectory generation）。规划阶段估计预测视界内显著运动峰值的时机与强度以及全局运动方向；生成阶段通过时间门控（temporal gating）与结构化运动组合产生短视界关键点位移。模型通过重建损失、峰值监督、峰值完整性正则化（peak-integrity regularization）以及基于相关性的时间–形状正则化进行训练。在MEAD数据集上采用三维面部关键点并基于受试者独立方案进行的实验表明存在明显的失真–动力学（distortion–dynamics）权衡。与静态基线及序列到序列（sequence-to-sequence）基线相比，所提方法在保持有竞争力的24步预测精度的同时，更好地保留了与峰值相关的面部动力学。

**研究背景与问题**

随着大语言模型（LLM，large language model）的快速发展，人形机器人的言语交互能力已显著提升，可实现流畅且上下文感知的言语交流。然而，非言语交流（包括面部表情、目光注视和头部运动）在社会交互中同样关键，其发展却相对滞后。面部表情是传递情感、意图和人际信号的主要媒介，直接决定用户对机器人温暖感、信任感和交互意愿的感知，是人–机器人交互（HRI）中不可或缺的组成部分。心理学与人–机器人交互研究已证实，即使毫秒级的面部运动时间失配也会急剧降低交互的自然性和默契度，从而削弱用户继续交互的意愿。因此，使机器人能够生成几何精确、及时且情感连贯的面部表情，仍是其在真实高频社交场景中部署的核心挑战。

当前机器人面部行为生成方法大致分为两类：预编程面部行为模式与反应式模仿。预编程方法通常依赖手工脚本或固定运动模式，虽能生成精确且可重复的运动，但缺乏自然交互中预期性和动态适应性面部行为所需的灵活性。反应式模仿方法检测人类表情并镜像复制，尽管计算成本较低，但感知–处理–执行流程 inevitably 引入延迟，导致机器人表情滞后、机械且不真诚。两种方法本质上均为事后响应，缺乏预期能力，无法与人类表情的起始和峰值同步，只能在观察到人类动作后被动响应。相比之下，预期性协同表达——即预测近未来面部动力学并生成同步响应的能力——被认为是实现流畅交互话轮转换、情感对齐和维持人–机器人交互默契的关键。

为此，数据驱动的面部表情预测方法逐渐受到关注。现有研究尝试通过视觉或多模态输入预测未来面部运动，发现预测即将发生的情感事件（如微笑峰值）可提升交互自然性。同时，近期工作探索了更结构化和交互式的面部运动建模形式，包括基于时间线的面部动作生成控制、用于实时对话行为的自回归头部生成，以及具有语音同步或混合驱动运动控制的物理部署机器人面部系统。尽管这些研究凸显了时间结构、交互真实感和部署可行性在面部动力学建模中的日益重要性，它们主要面向面部运动生成、语音驱动动画或机器人驱动，而非三维面部关键点动力学的短视界受试者分离预测。因此，当前面向预测的方法在实际人–机器人交互场景中仍存在明显局限：大多数研究仅针对有限表情集或受控记录环境，其在无约束对话中的泛化能力尚未得到充分验证。更关键的是，当使用均方误差（MSE，mean squared error）作为优化目标时，模型容易收敛于保守的均值回归或后验坍缩（posterior collapse）解。生成的表情轨迹在数值上接近数据集平均值，但在感知上静态且缺乏活力。值得注意的是，诸如复制末帧（Copy-Last-Frame）的简单方法即可实现极低的MSE。这一观察揭示了明确的失真–动力学权衡：仅优化数值失真可能抑制人类解读为表情丰富和自然的高频运动动力学。

**研究开展与核心贡献**

针对上述问题，本研究在大型多模态情感说话人脸数据集MEAD上重新审视短视界面部关键点预测。为将面部运动建模与特定机器人硬件约束解耦，聚焦于预期性动力学本身，研究人员采用三维面部关键点作为面部行为的紧凑且与驱动兼容的表示。为在缓解均值回归的同时提高预测保真度，提出了峰感知GRU框架（PAGF，peak-aware GRU framework），显式建模未来面部运动的时间结构。受分层预测策略启发，PAGF将预测分解为两个阶段：峰值规划阶段估计显著运动峰值的时机^τ和强度a以及全局运动方向；峰值条件化轨迹生成阶段通过时间门控和结构化运动组合产生短视界关键点轨迹。此外，研究人员引入了峰值一致性（peak-consistency）和时间–形状正则化以改善峰值相关面部动力学和时间对齐的保持。受试者分离方案下的实验表明，所提框架比代表性静态和循环基线实现了更优的失真–动力学权衡。

本研究的主要贡献包括：建立了MEAD数据集上短视界三维面部关键点预测的受试者分离基准方案，使用失真、动力学和时间对齐指标评估方法；分析了点态重建目标诱导的均值回归效应，并通过与强基线的系统对比量化了 resulting 的失真–动力学权衡；提出了将预测分解为峰值规划和峰值条件化轨迹生成的峰感知循环预测框架，并研究了峰值一致性和时间–形状正则化对动力学保持的贡献；实验结果表明所提方法在保持有竞争力24步预测误差的同时，更好地保留了峰值相关面部动力学。

**关键技术方法**

研究采用的技术路线包含以下核心组件：共享时间编码器提取面部关键点序列历史隐表示；峰感知预测模块估计未来峰值时机、峰值强度及全局运动方向；峰值条件化控制模块通过时间门控和运动组合生成短视界轨迹；自回归滚动策略扩展至长视界预测。训练采用复合目标函数，包括控制损失（位置重建、幅度一致性、速度平滑性）、峰值预测损失（峰值时机分类、峰值强度回归）、峰值完整性损失以及高动态样本的相关性正则化。评估在MEAD数据集Actors 1–5训练、Actor 6测试的严格受试者独立方案下进行，目标预测视界为24帧（约0.8秒），控制窗口设为6帧。

**研究结果**

**长视界失真分析**：在24帧滚动预测设定下，复制末帧基线取得最低全局MSE（1.54×10^-5），证实了均值回归问题的严重性——静态预测器在统计上最小化L₂损失却冻结所有运动。线性外推基线快速发散（48.54×10^-5），凸显面部动力学的非线性。GRU Seq2Seq和Hu-style Apex+Interp虽达到合理失真水平，但仍高于静态基线。PAGF-base有效抑制无约束生成伪影，达到与复制末帧相当的低失真；PAGF+Corr最终变体保持竞争力失真水平（全局MSE：1.81×10^-5；下颌MSE：1.63×10^-4），为恢复静态基线完全缺乏的动态活力和时间对齐而接受MSE的轻微增加。

**动力学与感知–失真权衡**：低数值失真不保证高感知质量。基线呈现极端行为：复制末帧实现近零失真但零动态能量；标准GRU Seq2Seq改善相关性但引入过度抖动和更高空间误差。PAGF+Corr成功 navigate 该权衡：恢复自然动态能量（ jerk ratio 接近真实值），并显著改善与静态基线相比的时间对齐，验证峰感知规划机制有效引导生成远离均值回归而不引发不稳定伪影。

**高动态分析与定性可视化**：在真实值幅度标准差超过动态阈值的子集上，PAGF+Corr稳健保持表情强度，密切跟踪真实值动态带范围。Seq2Seq随时间遭受幅度衰减。幅度相关性分布证实PAGF+Corr获得持续高于基线的中位数相关性，降低差预测方差。定性关键点叠加确认PAGF+Corr更忠实匹配真实值轨迹的峰值时机和运动幅度，特别是在主要动态过渡区域维持更优的嘴部区域误差曲线。

**讨论与结论**

本研究在MEAD数据集上的实证结果揭示了面部表情预测中的基本冲突：优化数值保真度往往以牺牲动态表现力为代价。复制末帧基线取得最低全局MSE，形成学习模型难以超越的"数值天花板"。然而在人–机器人交互情境中，该策略导致"僵尸式"智能体，对人类情感线索无响应。相反，标准自回归模型尝试建模动力学但常受均值回归困扰，生成向平均脸漂移的轨迹，限制机器人展示高强度共情表情的能力。

PAGF通过解耦"什么/何时"（规划）与"如何"（控制）应对这一 dichotomy。显式预测即将到来的表情峰值时机和强度，向生成过程注入强高层结构先验，防止解码器坍缩至均值。消融研究表明，虽然单独几何约束不足治愈静态行为，峰值完整性和形状感知相关性损失的引入显著增强jerk energy和幅度相关性，暗示对机器人表情生成而言，监督运动的形状和趋势与监督绝对坐标位置同样关键。

该框架也存在局限：仅依赖视觉历史，而对话中面部表情常与语音韵律和语义语境相关；评估聚焦于关键点轨迹，映射到特定伺服驱动机器人面部物理约束仍是下游工程挑战；当前形式仅建模每个短预测视界内的主导峰值，更复杂多峰模式需要扩展表述。尽管动机来自人–机器人交互中的预期性面部协同表达，当前研究通过离线基于关键点的代理指标而非端到端机器人部署或用户研究评估该能力。

本研究系统研究了短视界面部表情预测这一人–机器人协同表达的关键能力，识别并量化了MEAD数据集上标准MSE训练诱导的严重均值回归现象。提出的PAGF框架通过显式建模短视界峰值时机和强度，并通过峰值条件化方向门控生成结构化轨迹，成功 navigate 感知–失真权衡。与通过冻结运动最小化误差的静态基线不同，该方法生成与真实值强度曲线紧密匹配的活力同步面部动力学，同时保持相对于通用Seq2Seq模型的竞争力失真误差。该工作为数据驱动机器人表情控制提供了稳健基线，凸显了结构先验在建模随机人类行为中的重要性。

**研究结论**

研究人员提出了短视界面部关键点预测的系统研究，这是预期性人–机器人协同表达的关键能力。研究人员识别并量化了MEAD数据集上标准MSE训练诱导的严重均值回归现象。为克服此问题，研究人员提出了峰感知GRU框架（PAGF），一种显式建模短视界峰值时机和强度并通过峰值条件化方向门控生成结构化轨迹的分层架构。实验表明PAGF成功应对感知–失真权衡。与通过冻结运动最小化误差的静态基线不同，研究人员的方法生成与真实值强度曲线紧密匹配的活力同步面部动力学，同时保持相对于通用Seq2Seq模型的竞争力失真误差。该工作为数据驱动机器人表情控制提供了稳健基线，凸显了结构先验在建模随机人类行为中的重要性。

未来工作将扩展该框架至多模态设定，纳入音频和文本模态以延长预测视界；此外，旨在将生成轨迹部署于物理面部表情机器人，以评估预期性协同表达对真实世界交互中用户信任和参与度的影响。