基于多模态大模型的视觉感知教育场景中考几何场景形式化(Geometric Scene Formalization in Vision-Based Educational Sensing via Multimodal Large Models)

《Applied Sciences》：Geometric Scene Formalization in Vision-Based Educational Sensing via Multimodal Large Models

　　

摘要：本文研究视觉感知教育传感环境下的几何场景形式化(Geometric Scene Formalization)问题，其中文字条件与几何图形图像共同构成异构感知输入。目标是将多模态感知信息转换为标准化形式化表示(Formal Representation)，以供机器可理解的教务分析使用。现有方法受限于跨模态对齐不稳定、几何关系约束表达不充分及生成结果可验证性不足。为克服上述挑战，研究人员提出了一种基于多模态大语言模型(Multimodal Large Language Model, MLLM)的统一建模框架，集成结构感知提示(Structure-Aware Prompting)与验证反馈(Verification Feedback)。首先引入面向几何的结构提示注入机制(Structure Prompt Injection Mechanism)，编码几何实体、关系模式及约束依赖的先验线索，增强文字描述、视觉感知图形区域与形式符号表示之间的内在对齐。此外，采用外部验证反馈策略(External Verification Feedback Strategy)约束并迭代修正初始输出，从而提高结构一致性、语法正确性及目标命题准确性。为支持该任务，研究人员进一步构建了全新的基于视觉的多模态几何形式化数据集用于模型训练与评估。大量实验表明，所提方法能更有效地完成从多模态感知教育输入到可执行形式表达式的转换，在复杂视觉条件下也表现出更强的鲁棒性与可靠性。结果表明，该框架为视觉感知教育系统结构化场景解析、自动问题分析、错误诊断及智能反馈提供了可行方案。

论文解读：《Applied Sciences》—基于多模态大模型的视觉感知教育传感中几何场景形式化研究

一、研究背景与意义

在智能教育(Intelligent Education)场景中，平面几何问题是初高中数学教育的重要组成，其信息通常以"文字条件+几何图形图像"的多模态异构输入形式呈现。几何问题具有图文紧密耦合、关系约束复杂、推理路径清晰、形式化严谨性要求高等特点，是视觉感知教育传感(Vision-Based Educational Sensing)系统中典型的结构化场景理解任务。当前多模态大语言模型(Multimodal Large Language Model, MLLM)在视觉理解和文本生成方面虽有进展，但在几何问题形式化中仍面临三方面瓶颈：一是几何对象（点、线、角、圆等）与关系（平行Perpendicularity、垂直Parallelism、共线Collinearity、等角Angle Equality等）存在明显结构依赖，视觉感知引入的对象定位与关系关联不确定性导致跨模态对齐(Cross-Modal Alignment)不稳定，出现对象引用混乱(Relation Localization Errors)及图文条件匹配差；二是形式化几何表示除语义正确外还需满足语法标准化、结构完整性和可被后续验证器或求解器解析，现有方法常遗漏完整条件、正确关系谓词(Predicate)及约束表达式；三是缺乏同时包含文字条件、几何图形图像及标准形式化表示的公开高质量数据集。为此，研究人员以Qwen2.5-VL-32B-Instruct为骨干，提出融合几何关系感知结构适配器(Relation-Aware Structural Adapter, RASA)与可执行验证驱动误差反馈训练(Verifiable Feedback Training, VFT)的统一框架，并在扩展自GeoQA的新建多模态几何形式化数据集上验证有效性。该研究为智能教辅系统中的自动解析、过程推理及教学反馈提供了可复用数据基础与方法支撑，论文发表于《Applied Sciences》。

二、主要关键技术方法

研究人员以GeoQA数据集为基础扩充3000例来自中学教材、同步教辅、历年真题及在线题库的平面几何样本，最终形成8010例实验数据集，按难度标注简单(Simple, 5371例)与困难(Difficult, 2639例)，按7:1:2划分为训练集、验证集与测试集，每例含原始题文、几何图形、归一化几何条件集、目标命题及难度标签，形式化标注遵循预定义谓词语法。整体方法以Qwen2.5-VL-32B-Instruct为多模态生成主干，采用低秩自适应(Low-Rank Adaptation, LoRA)进行参数高效微调，在注意力投影层引入低秩增量参数。核心创新含两个模块：(1)几何关系感知结构适配器(RASA)：从题文与图中提取几何基元集合（点Points、线段Line Segments、角Angles、圆Circles等）与关系集合（平行、垂直、共线、等角、点在线上Point-on-Line等），将基元与关系谓词映射为可学习结构嵌入(Structural Embedding)组成结构序列，通过门控注入机制(Gated Injection Mechanism)投影并融合至主干模型语言侧隐藏态，使模型在需几何关系支持的位置强化结构线索利用；(2)可执行的验证驱动误差反馈训练(VFT)：以形式语言解析器(Parser)判断语法可解析性Parse(T_f)，以几何约束检查器(Geometric Constraint Checker)判断基于图形与几何先验的关系自洽性Cons(T_f)，双验证通过则Valid(T_f)=Parse(T_f)∧Cons(T_f)=1；验证失败样本经误差类型诊断映射为多热误差向量并修复为标注标准形式化序列加入训练队列进行迭代更新。评估指标包括解析率(Parsing Rate, PR)、几何一致性率(Geometric Consistency Rate, GCR)、验证通过率(Verification Pass Rate, VPR)及目标命题匹配准确率(Goal Accuracy, GA)。

三、研究结果

4.1. Dataset

研究人员基于GeoQA扩充构建含8010样本的平面几何多模态形式化数据集，按条件数量、图关系复杂度、目标关系链长度及图文对齐难度标注简单与困难子集，并按7:1:2切分。结论：自建数据集覆盖多样题型与图文表达形式，经过语法可解析性与基本几何一致性校验，可支持监督生成与基于验证器的评估。

4.2. Experimental Setup

实验在统一种子、统一优化器与学习率设置下对各基线及所提方法进行参数高效微调与评估。结论：统一软硬件环境与超参数设置保证了不同方法间比较的公平性。

4.3. Experimental Results Compared with Other Models

在简单子集与困难子集上，所提方法均在PR、GCR、VPR及GA上优于各基线（包括EvalAlign、TextHawk、TinyLLaVa、MMTuning、Swift等）。简单子集上所提方法PR达93.8%、GCR达82.6%、VPR达78.4%、GA达88.7%；困难子集上PR达88.6%、GCR达74.2%、VPR达69.5%、GA达81.3%。结论：仅靠通用多模态对齐与参数高效微调不足以保障几何场景可靠形式化，协同使用几何关系线索与可执行的验证反馈更能提升结构化输出的可靠性、一致性及应用价值，该框架更适用于视觉感知系统的场景理解与形式信息抽取。

4.4. Ablation Experiment Result

去除RASA或VFT后各项指标下降；单独加RASA显著提升GCR与VPR（简单子集GCR由63.2%升至72.9%，VPR由52.7%升至63.4%），表明RASA强化跨模态对齐与关系结构完整性；单独加VFT显著提升PR与GA（简单子集PR由81.4%升至88.9%，GA由—升至79.6%），表明VFT抑制句法错误并规范目标表达式；两者联合取得最优表现（简单子集PR=93.8%、GCR=82.6%、VPR=78.4%、GA=88.7%；困难子集PR=88.6%、GCR=74.2%、VPR=69.5%、GA=81.3%）。结论：RASA与VFT在关系显式建模和提升整体性能上具有高度互补性，结构约束建模与验证—反馈闭环协同作用使形式化输出从可解析性提升至结构一致性与可验证性。

4.5. The Impact of Low-Rank Dimension on Experimental Results

固定其余配置仅改变LoRA低秩维度r，随r增大PR波动减小趋于稳定，GCR呈稳步上升趋势并在中等r处短暂平台，VPR基本单调增，GA先明显提升后渐平缓。结论：较小r导致任务适配能力不足易出现对象引用漂移与谓词参数缺失；较大r增强结构化输出规划与一致性控制能力，综合四指标稳定性选相对较大的r可较好平衡语法规范、几何自洽与目标命题表达。

4.6. Visual Analysis of Cross Modal Attention Distributions with and Without RASA

对比基线(Baseline, 仅LoRA微调)与+RASA模型的图文跨模态注意力热力图，基线注意力分布较分散，平行、垂直、角等关键几何概念对应响应易扩散至无关区域；+RASA使关键术语对应高响应区更集中于平行标记、直角位置及角顶点与边等核心几何部位，文本词元与图像目标区域对应关系更清晰。结论：结构提示注入有效增强了模型捕获几何对象、关系约束与空间语义内在联系的能力，使跨模态语义对齐过程更稳定且符合几何推理表示需求。

4.7. Comprehensive Performance Trade off Analysis from the Perspective of the Pareto Frontier

以GCR为横轴、GA为纵轴绘制Pareto前沿，所提方法位于右上最优区域；单独加RASA或VFT均向右上偏移但增益路径不同，RASA偏重结构建模与语义约束对齐增强，VFT偏重结果可用性与目标表达质量提升，二者联合进一步向外扩展形成新前沿。结论：统一框架能更充分发挥结构提示与验证反馈两种改进路径的优势，在多个性能目标上实现更均衡稳定的整体优化。

4.8. Robustness Evaluation Under Vision-Based Sensing Perturbations

对输入几何图形施加高斯噪声(Gaussian Noise)、运动模糊(Motion Blur)、JPEG压缩、部分遮挡(Partial Occlusion)及几何畸变(Geometric Distortion)，各扰动下PR、GCR、VPR、GA均有不同程度下降（部分遮挡与运动模糊影响最大，JPEG压缩影响最小），但所提方法在两子集上仍保持相对较高解析能力与较稳定验证通过率，波动可控。结论：该方法在常见视觉退化下仍具较好的结构感知能力与形式化输出稳定性，适用于视觉感知条件下的几何信息提取与可验证形式化表达生成。

4.9. Multi-Source Sensing Information Fusion Experiment

分别测试仅文字(Text Only)、仅图像(Image Only)及文字+图像(Text+Image)三种输入设置，单模态次之（图像略优于文字），Text+Image在所有指标上最优。结论：文字语义信息与视觉图形信息均对几何形式化有正向贡献，二者融合能更可靠建立文字条件、视觉区域与符号表达式间的对应关系，多源感知信息融合有利于提升结构化场景解析与形式信息抽取的可靠性。

四、讨论与结论

讨论部分指出，虽然框架提升了多模态几何输入向可验证形式化表示的转换能力，但实际教辅应用中形式化结果还需转化为学生可理解反馈（如验证器检测缺条件时提示检查特定平行/垂直/点在线上/等角关系），且反馈生成需平衡形式严谨性、教学清晰度与学生认知水平；此外当前鲁棒性实验采用合成扰动，尚不能完全代表真实课堂手绘草图、低照度拍摄、板书写迹不完整、相机角度倾斜等复杂情况，需在学生导向解释生成、交互纠错引导及更复杂真实课堂条件下进一步增强。

结论翻译归纳如下：本文针对视觉感知多模态几何形式化任务中跨模态对应不稳定、几何关系约束表达不完整及生成结果可验证性不足的挑战，构建了融合结构感知提示与验证反馈机制的统一建模框架。基于参数高效微调引入面向几何的提示注入策略以增强文字语义、图形区域与形式符号表示间的对应，并利用外部验证信号约束与修正生成结果，有效提升了形式化输出的结构一致性、语法标准化及目标命题表达能力。实验证明所提方法在复杂几何场景下具备良好鲁棒性与综合性能，表明结构知识引导与可执行的反馈协同运用不仅有益于多模态形式推理，也为视觉感知教育输入的可靠场景理解与形式信息抽取提供了支持。未来可将几何形式化范式拓展至代数图形、函数分析图及物理示意图等更复杂教育视觉内容，并与智能导学系统、自动出题系统及个性化学习平台结合，构建涵盖场景理解、过程生成、错误诊断与反馈解释的闭环教学支持机制。