《Frontiers in Computer Science》：Multimodal AI in education: an avatar-based intelligent learning system for the Kazakh language
编辑推荐：
本研究针对低资源语言教育数字化中多模态交互适配不足的挑战，开发了融合句法形态分析、情感处理与韵律控制的哈萨克语化身智能学习系统（IALS）。该系统实现了语音合成、手势生成、面部表情控制与唇形同步的统一架构，经测试可支持自动化课程讲解与基础交互，为低资源语言沉浸式教育提供了可复用的技术范式。
在数字教育蓬勃发展的今天，虚拟化身与多模态人工智能正逐渐成为打破时空限制、重塑学习体验的关键力量。然而，当我们把目光投向全球众多拥有独特语言结构的“低资源语言”时，却发现现有的教育技术解决方案显得有些“水土不服”。以哈萨克斯坦的官方语言哈萨克语为例，这门属于突厥语系的语言具有复杂的黏着型形态特征——语法关系并非依靠固定的语序，而是通过词干后附加的一串串后缀来表达。这种灵活多变的句法结构，加上其独特的韵律模式和丰富的非言语交际习俗（如特定的手势和面部表情），使得基于印欧语言逻辑设计的通用教育软件难以招架。现有的化身学习系统往往将语音生成与视觉行为割裂处理，手势生硬且与文本内容脱节，情感反馈更是流于表面，导致学习者在交互过程中难以获得沉浸感和文化认同感，严重制约了数字化教育的实际效果。
正是在这样的背景下，一项聚焦于哈萨克语教育数字化的创新研究应运而生。研究人员致力于构建一个名为“基于化身的智能学习系统（IALS）”的多模态平台，试图将语言学特性与人工智能技术深度融合。这项研究不仅仅是为了开发一个教学工具，更是为了探索如何让机器真正“理解”并“表达”一门低资源语言的精髓。研究团队通过整合句法与形态分析、情感处理、语调控制以及三维动画技术，成功打造了一个能够同步处理文本、语音、表情和手势的综合性教育环境。测试结果表明，该系统不仅能够胜任自动化的课程内容讲述和教学材料配音，还能在化身引导的教育场景中实现基础的学习者交互，为哈萨克语的数字化教学开辟了全新的路径。相关研究成果已发表在《Frontiers in Computer Science》杂志上。
为了实现这一复杂系统的构建，研究人员采用了模块化的技术路线。在语言处理层面，他们利用Stanza工具对哈萨克语文本进行深度的形态、句法和语义分析，特别是依赖解析（Dependency Parsing），以适应其黏着语的特性。语音合成则采用了Facebook的MMS（Massively Multilingual Speech）文本转语音模型，并结合VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）框架，以实现自然流畅的语音输出。在情感计算方面，系统基于词汇语义资源进行情感评分，并通过特定的量化方案将连续情感值映射到离散的行为类别。对于视觉呈现，研究团队使用Blender 3.6构建了男女两款三维化身模型，并利用Wav2Lip模型实现音频驱动的唇形同步。此外，为了验证系统的实时性能，研究还在Nazarbayev University的计算设施上，使用ESPnet框架对VITS和Tacotron两种语音合成模型进行了对比评估，考量了延迟、实时因子（RTF）、吞吐量及硬件负载等关键指标。
2.1 IALS的系统架构
研究首先构建了IALS的整体架构，这是一个连接自然语言处理、语音合成与化身动画的模块化系统。系统接收文本教学内容后，由语言处理模块进行形态、句法和语义分析，识别句子结构与情感标记。随后，手势映射模块将这些特征转换为符合哈萨克语交际规范的非言语动作。语音合成模块根据句子结构和情感参数调节音高、节奏和语调。唇形同步模块则负责将音素时序与面部运动对齐。最终，化身动画模块在三维界面中生成协调的手势、面部状态和唇部动作。整个流程还包含一个讲座演示模块，支持教师上传PDF格式的讲义和幻灯片，系统会自动分割内容并进行同步展示，并在每个单元后生成评估任务。
2.2 系统实现
在技术实现上，IALS采用Python 3.10开发以确保模块间的稳定协作。除了上述提到的Stanza、MMS和Wav2Lip，系统的源代码已在GitHub开源，保证了研究的透明性与可复现性。这种模块化的设计使得各个功能组件可以独立优化，同时也便于未来的功能扩展。
2.3 哈萨克语处理模型
针对哈萨克语黏着型的特点，研究强调了依赖解析的重要性。由于语法关系主要通过后缀编码而非固定语序，传统的基于规则或简单统计的方法效果不佳。因此，系统采用了基于依赖的模型来处理学习者输入，完成分词、句法分析和成分分类。例如，在“?стаз к?тапты о?ыды”（老师读了书）这句话中，对象标记“ты”明确了名词的角色。通过分析这些依赖关系，系统能将句子结构分类为“主谓”、“主宾谓”等模式，为后续的韵律选择和化身行为提供依据。
2.4 哈萨克语句式手势映射方法
为了让化身的动作符合文化习惯，研究邀请了语言学家和母语者参与设计。他们建立了一套将句法成分与手势、面部表情相关联的映射模型。例如，主语对应手掌张开或指向所指对象的手势，配合中性微笑和挑眉；谓语则对应双手收至身体中心以指示动作或关系，配合轻微点头或柔和微笑。对于疑问句和感叹句，系统还设计了特定的模型，如疑问句中可能包含单手托腮、挑眉凝视等表达怀疑或好奇的动作。这些设计确保了化身的非言语行为与哈萨克语的实际交际模式保持一致。
2.5 情感处理器
情感处理模块是系统的核心之一。它利用回退词典（fallback dictionary）检测文本中的情感词汇，并赋予从-2到+2的情感分值。通过计算句子级的平均情感得分，系统生成综合情感评分（ISS）。为了模拟人类认知，研究引入了一个0.5的阈值进行量化：得分低于0.5视为中性（0），高于等于0.5则视为积极（+1）。此外，还计算了情感失衡系数（D）和情感饱和度指数（E），分别衡量文本情感的偏向性和强度。这些参数直接决定了化身在语音音量、语速、停顿以及手势表情上的具体表现。
2.6 语音合成与语调
语音合成模块利用MMS模型生成哈萨克语语音，并根据句子类型（陈述、疑问、感叹）动态调整语调轮廓。疑问句末尾音高上升，陈述句则保持平稳。研究特别使用了YIN算法提取基频（F0），并通过PSOLA（Pitch Synchronous Overlap-Add）方法进行音高校正，确保语音的自然度。同时，根据情感评分对语音参数进行微调：积极情感会提高音量、升高音高、缩短停顿并加快语速；消极情感则相反。例如，情感评分为+2时，音量提升6dB，音高增加50Hz，语速提升至3.85词/秒。
2.7 化身设计与动画
研究开发了男性和女性两款三维化身，均配备了面部绑定和关节身体结构。为了保持实时性并降低计算负荷，系统并未实时生成所有动作，而是预先录制了与常见句法结构和情感模式对应的MP4动画序列。当文本处理完成后，系统会根据分析结果触发相应的动画片段，并由Python控制器将其与合成语音同步播放。唇形同步则通过Wav2Lip模型动态生成，确保了嘴部动作与发音的精确匹配。
2.8 系统性能评估
在性能测试中，VITS模型展现出了显著优势。其平均延迟仅为25.51毫秒，远低于Tacotron模型的242.31毫秒，且实时因子（RTF）低至0.004，意味着语音生成速度远超播放速度。在资源消耗方面，VITS虽然占用稍多的CPU内存，但其GPU峰值内存仅需150.68MB，远低于Tacotron的904.22MB，使其更适合在硬件条件有限的设备上部署。
2.9 与现有系统的比较及组件分析
通过与通用化身系统和商业平台（如Synthesia、HeyGen）的对比，突显了IALS的独特价值。通用系统通常缺乏语言特异性，手势与内容无关；而IALS则基于哈萨克语的句法角色进行手势映射。组件分析表明，仅有语音合成的系统功能有限，而结合了韵律控制、手势映射和情感处理的完整系统才能提供最适合教育的多模态体验。
综上所述，这项研究成功开发了一个专为哈萨克语设计的多模态智能学习系统，通过深度融合语言学分析与人工智能技术，解决了低资源语言教育中多模态交互适配的难题。其核心在于利用依赖解析处理黏着语结构，通过情感量化实现自然的韵律与行为调节，并借助预录动画与动态唇形同步平衡了表现力与效率。尽管目前仍受限于预录动画的灵活性和基于规则的情感控制，但这项研究为低资源语言的教育数字化提供了一个极具参考价值的框架。它不仅证明了将复杂语言特性融入教育技术的可能性，也为未来开发更多面向特定语言和文化的自适应学习环境奠定了坚实基础，对于推动教育公平和语言多样性保护具有重要的现实意义。
