《IEEE Access》：Artificial Intelligence Models for Analysing Children’s Emotional Expressions and Colour Use in Digital Drawings
编辑推荐：
本研究旨在探索学前儿童情绪表达与数字绘画色彩使用间的关联。为客观评估儿童绘画时所表达的情绪，研究人员结合专家标注与机器学习（Machine Learning）模型，对216名儿童在课堂活动中创作的绘画及口头叙述进行了分析。研究构建的元模型（meta-model）在专家数据集上达到0.85的准确率。结果显示，与表达负面情绪的绘画相比，表达正面情绪的绘画着色区域更大、使用颜色更多，且绿色使用更频繁。这项研究为利用AI客观分析儿童非言语情绪表达提供了新方法，对儿童情绪发展与艺术教育评估具有重要意义。
在儿童的成长过程中，情绪表达与认知发展紧密相连。然而，对于尚处于语言发展初期的学前儿童而言，准确捕捉和解读其内心情绪状态一直是个挑战。传统的评估方法多依赖观察者主观判断，难以量化且易受个体经验影响。与此同时，绘画作为儿童表达自我、描绘内心世界的重要非言语手段，其色彩、构图等元素被认为可能与情绪状态相关，但其中具体、可量化的关联却缺乏系统性的实证研究。数字技术的普及，使得儿童通过平板电脑等设备进行绘画创作日益普遍，这为研究者采集高精度、标准化的绘画过程与成果数据提供了前所未有的机会。上述背景催生了一个核心问题：能否利用先进的人工智能（Artificial Intelligence, AI）技术，客观、自动地分析儿童在数字绘画创作中流露出的情绪，并揭示情绪状态与绘画色彩使用之间的潜在规律？这正是发表于《IEEE Access》的这项研究试图回答的问题。
为了深入探究上述问题，研究团队设计并开展了一项基于真实课堂情境的实证研究。他们招募了216名学前儿童作为参与者。在自然的教学活动环境中，孩子们使用数字设备自由创作绘画，并同时为画作录制一段口头叙述（European Spanish）。由领域专家实时聆听每段叙述，判断其所表达的情绪效价（valence），并将其分类为正面（positive）、中性（neutral）或负面（negative）。由此，研究获得了618个“音频-绘画”配对数据，并附有专家标注的情绪标签。为确保情绪标签的客观性与一致性，研究并未止步于专家标注。研究人员进一步利用这些音频记录训练了多种机器学习（Machine Learning, ML）模型，并将这些模型集成为一个元模型（meta-model），用于对情绪进行自动分类，以此作为专家标注的补充和验证。在数据分析阶段，研究者一方面评估元模型的分类性能及其与专家标注的一致性；另一方面，系统量化了与不同情绪类别相关联的数字绘画在色彩使用上的特征，包括着色区域大小、使用颜色数量以及特定颜色（如绿色）的使用程度。
本研究主要采用了以下关键技术方法：1. 基于真实课堂情境的数据采集：研究数据来源于216名学前儿童在自然教学活动中创作的数字绘画及伴随的西班牙语口头叙述，形成了618个音频-绘画配对样本。2. 专家标注与机器学习融合的情绪分析框架：由专家对儿童叙述进行实时情绪效价（正面、中性、负面）标注；同时，训练多种机器学习模型对音频进行自动情绪分类，并集成构建元模型（meta-model）以验证标注一致性。3. 数字绘画特征量化分析：通过计算着色像素占比、使用颜色数量等指标，量化分析绘画的视觉特征，并与情绪标签进行关联分析。
研究结果
1. 机器学习元模型在情绪分类中表现良好，但与专家标注的一致性集中于非中性类别
研究构建的机器学习元模型在应用于专家标注的数据集时，展现出良好的分类性能，准确率（accuracy）达到0.85，F1分数（F1-score）为0.83。然而，该模型预测结果与专家标注之间的一致性仅为中等水平。进一步分析发现，大部分不一致的情况都集中在“中性”情绪类别。这表明，对于情绪效价较为鲜明（即正面或负面）的叙述，机器学习模型与专家的判断较为吻合；但对于情绪色彩不突出的“中性”叙述，两者判断存在较大差异，这可能反映了“中性”类别本身边界模糊、难以界定的特性。
2. 表达正面情绪的绘画着色区域更大、使用颜色更多
对绘画视觉特征的量化分析揭示了情绪与色彩使用之间的显著关联。统计结果显示，与表达负面情绪的绘画相比，那些被专家评估为表达正面情绪的绘画，具有显著更大的着色区域，并且使用了更多种类的颜色。此外，表达正面情绪的绘画其着色区域也大于表达中性情绪的绘画。这表明，更积极、愉悦的情绪状态可能与儿童在绘画中更投入、更丰富的色彩表达行为相关联。
3. 正面情绪绘画中绿色使用更频繁，可能与绘画主题相关
在具体颜色的使用上，研究发现表达正面情绪的绘画中，绿色的使用程度显著高于表达负面情绪的绘画。然而，作者在讨论中指出，这一发现需要谨慎解读。因为儿童在绘画中较多使用绿色，可能部分源于他们绘制了更多与自然（如树木、草地）相关的、通常引发积极情绪的主题，而非绿色本身直接等同于正面情绪。这提示了绘画内容（主题）与色彩选择之间存在复杂的交互关系，在解读颜色1情绪关联时需考虑主题的混淆效应。
本研究通过融合专家评估与机器学习分析，系统探讨了学前儿童数字绘画中情绪表达与色彩使用的关系。主要结论如下：首先，基于音频训练的机器学习元模型能够以较高精度自动识别儿童叙述中的情绪，但与人类专家在“中性”情绪判定上存在差异，凸显了情绪尤其是中性情绪标注的复杂性。其次，研究提供了实证证据，表明儿童的情绪效价与其数字绘画的色彩使用特征存在关联：表达正面情绪的绘画倾向于拥有更大的着色面积和更丰富的色彩数量。此外，绿色在正面情绪绘画中更常见，尽管这种关联可能部分受绘画主题（如自然场景）影响。这项研究的意义在于，它开发并验证了一种结合主观专家知识与客观计算模型的混合分析框架，为在自然情境下非接触式、客观化地评估儿童情绪状态提供了新的技术途径。研究成果不仅对发展心理学、儿童情感计算（Affective Computing）领域具有理论价值，也为教育工作者利用数字艺术活动观察和促进儿童情绪健康发展提供了实践启示。未来的研究可在更大规模、更多样化的样本中验证这些发现，并进一步区分绘画主题与色彩选择对情绪表达的具体贡献。
