基于动态稀疏门控与时空注意力机制的智能界面眼动建模与自适应优化研究

《Electronics》：Eye-Tracking Response Modeling and Design Optimization Method for Smart Home Interface Based on Transformer Attention Mechanism Yanping Lu and Myun Kim

本研究聚焦传统眼动预测模型计算冗余高、难以捕捉视觉跳跃特性的问题，提出融合Timesformer与DSAG的STAT架构，结合GCA建立眼动行为-设计参数映射。结果表明，模型显著降低计算负载，精准预测注视轨迹，为智能界面自适应布局提供实时认知反馈，推动人机交互从“静态感知”向“动态行为引导”升级。

　　

在数字化浪潮中，智能界面已成为连接人类认知与数字世界的核心枢纽——从智能手机的交互流程到车载系统的信息展示，界面设计的优劣直接影响用户体验效率与安全性。然而，传统界面设计多依赖静态规则与设计师经验，缺乏对用户真实视觉认知规律的动态响应：当界面元素繁杂或任务复杂度升高时，用户的视觉搜索路径呈现高度非线性与跳跃性，而现有预测模型往往陷入两难困境——要么因过度简化丢失时序关联，要么因全连接计算带来巨大冗余，无法兼顾精度与效率。更关键的是，眼动行为的动态特征（如注视停留、快速跳视）与界面设计参数（如元素位置、尺寸）间缺乏显式映射，导致设计优化难以实现“认知驱动”。这一瓶颈不仅限制了个性化界面的实现，也阻碍了人机交互向智能化、自适应方向的演进。

为解决这一问题，研究人员在《Electronics》发表了题为“基于动态稀疏门控与时空注意力机制的智能界面眼动建模与自适应优化研究”的成果。他们创新性地将计算机视觉中的TimeSformer（时空Transformer）架构引入眼动建模，并通过双分支结构分别处理空间（界面截图）与时间（眼动序列）特征：空间分支利用卷积层提取视觉显著性区域，时间分支通过嵌入编码捕捉长程依赖。针对TimeSformer全连接注意力计算冗余的问题，团队提出动态稀疏注意力门控（DSAG）模块——集成显著性门（过滤空间关注区）与运动模式门（识别眼动跳跃帧），以认知启发先验将注意力从“全连接”升级为“按需激活”，显著降低计算量并提升对眼动跳跃的拟合能力。进一步地，通过门控交叉注意力（GCA）建立眼动隐藏状态与界面元素特征的定向关联，最终输出可指导布局调整的优化向量。

关键技术包括：（1）基于TimeSformer的双分支时空注意力框架，分别建模界面静态特征与眼动动态序列；（2）DSAG模块通过预训练显著性检测模型（如DeepGaze II）与LSTM（长短期记忆网络）生成空间掩膜与时间激活信号，实现注意力稀疏化；（3）GCA机制以眼动特征为查询，界面元素属性为键值，筛选关键设计参数；（4）采用真实用户眼动数据集（含界面截图与时序坐标）训练模型，以均方误差与注意力稀疏度为联合优化目标。

眼动建模模块构建与优化

研究首先将眼动序列建模为时空嵌入：输入为历史时刻注视位置X_t与界面截图X_s，经Embedding与PositionalEncoding编码后，空间注意力捕捉界面局部关联（公式2），时间注意力学习长程依赖（公式3）。随后，通过拼接两种注意力输出并输入MLP（多层感知机），经线性变换与Softmax预测下一时刻注视概率分布P?_next（公式3后续描述）。为优化效率，引入DSAG：空间门G_s结合卷积特征与显著性图（公式4），时间门G_t利用LSTM分析位移速度并标记超阈值扫描帧（公式5），最终通过稀疏掩膜（公式6）将原始稠密注意力矩阵A压缩为A_sparse，减少冗余计算同时强化跳跃特征建模。

设计优化模块与整体架构整合

GCA模块以眼动隐藏状态为Query，界面N个元素的视觉/功能特征为Key/Value，计算标准注意力相似度S（公式7），并生成全局门控信号G筛选关键参数。最终，TF-GCA模型串联STAT眼动建模层与HGCA（分层门控交叉注意力）优化层：前者输出注视预测与稀疏注意力权重，后者据此调整界面元素布局（如位置偏移、尺寸缩放），形成“感知-预测-优化”闭环。实验表明，该模型较基线方法提升注视预测精度约18%，计算量下降35%，且生成的布局方案在用户测试中显著降低视觉搜索时间。

研究表明，融合DSAG的STAT架构有效解决了眼动序列的长程依赖与稀疏性矛盾，而GCA建立的显式映射首次实现从眼动行为到设计参数的端到端转化。这不仅为智能界面自适应提供了可解释的理论框架，更将人机交互从“被动响应用户操作”推向“主动预判认知需求”的新阶段——未来可扩展至AR导航、无障碍界面等场景，为构建“以人为本”的数字生态奠定基础。