面向神经多样性的自动叙事：多层LSTM、高级嵌入与现代叙事生成技术之间的比较评估

《Applied Sciences》：Automated Storytelling for Neurodiversity: Comparative Evaluation Between Multilayer LSTM, Advanced Embeddings, and Modern Narrative Generation Techniques

　　

训练时间是一个需要重点考虑的重要问题，因为它会因不确定性、多样性和叙事连贯性等因素而对生成故事的集合产生显著影响。本文对不同训练时长与随机种子条件下的预测熵动态进行了系统分析，研究了在概率语言生成模型中，熵与词汇多样性、重复性、语义一致性及实体连续性之间的相互作用。研究人员采用语言学指标，对循环架构与基于注意力的架构进行了比较评估。结果显示，预测熵分别降低了32.4%（LSTM）和28.7%（Transformer）。LexDiv为0.71 ± 0.03，Self-BLEU为0.42 ± 0.02，提示模型具有更高的置信度。然而，需要指出的是，熵的更大幅度下降可能与较低的词汇多样性和较高的Self-BLEU评分相关。这表明，在概率语言模型中，置信度与表达性之间存在权衡关系。熵项可促进更平滑的概率分布，并在Adam优化过程中减少过早的模式坍塌（mode collapse）。\( L_total = L_CE - \lambda H(p(y|x)) \) 旨在提高稳定性、降低随机初始化带来的影响，并支持生成具有适应性的叙事，这对于面向神经多样性的叙事可能具有相关意义。

这篇发表于《Applied Sciences》的论文聚焦于概率文本生成系统中的“预测熵”及其在自动叙事中的调控作用，特别讨论其对神经多样性（neurodiversity，指认知与学习方式的多样性）应用场景的潜在意义。研究背景在于，自动叙事生成虽已随生成式人工智能快速发展，但现有系统在教育与认知适配语境下仍面临多重关键问题：一是长序列文本容易出现语义漂移、重复生成和叙事退化；二是仅以流畅性或概率最优化为目标，难以兼顾词汇多样性、实体一致性与可理解性；三是在面向自闭症谱系障碍（ASD）、注意缺陷多动障碍（ADHD）及其他学习差异人群的潜在应用中，叙事既不能过于僵化，也不能过于不可预测，因此需要一种能平衡稳定性与表达性的生成机制。基于此，研究人员将熵不仅视为不确定性的诊断指标，也视为生成控制工具，尝试系统分析不同架构在训练过程中熵的演化规律，以及熵与词汇多样性、重复度、语义一致性和实体连续性之间的关系。

研究人员围绕N-gram、简单循环神经网络（RNN）、长短期记忆网络（LSTM）和Transformer等生成架构，构建了一个受控的小型短叙事语料，语义元素围绕“儿童—森林—龙”等重复主题展开，以便在可控条件下观察训练轮次和随机种子变化对生成行为的影响。论文的核心结论是：随着训练持续，模型预测熵通常逐步下降，说明模型置信度提高；但若熵被过度最小化，则常伴随词汇多样性下降、重复增加和叙事僵化。相比之下，LSTM和Transformer在较长训练阶段中更能维持不确定性、连贯性与表达性的平衡。论文进一步指出，熵正则化（entropy regularization）有助于维持平滑概率分布、降低随机初始化敏感性，并减少Adam优化中的过早模式坍塌，从而提升生成稳定性与适应性。这一发现的重要意义在于，它为面向神经多样性用户的教育叙事系统提供了可解释、可调控的技术路径，即通过适度控制预测熵来生成更具认知可达性（cognitive accessibility）、更稳定且更有变化的文本。

在方法上，研究人员以受ROCStories数据格式启发的简化短文本语料作为样本来源，对文本进行分词、序列数值化、填充（padding）与截断处理；比较简单RNN、单层LSTM和因果Transformer三类模型，并在随机种子42–46、100至2000轮训练条件下，使用Adam优化器进行训练。评估方面，采用熵、困惑度（perplexity）、词汇多样性（LexDiv）、Self-BLEU、Flesch-Kincaid、Gunning Fog Index、实体一致性（EntityCons）及SweetSpot综合指标，并结合spaCy命名实体识别（NER）与指代消解进行分析，同时加入平均句长、依存距离、依存树深度和从属指数等句法复杂度指标。

在研究结果部分，论文按照不同分析主题展开。
“4.1. Evolution of Entropy Throughout Training Periods”显示，预测熵随训练轮次推进总体呈下降趋势，且不同架构在初始阶段存在波动、之后逐步稳定。通过这一分析，研究人员得出结论：训练过程中的不确定性具有清晰的时间动态特征，熵变化能够反映模型收敛与生成行为的演变。
“4.2. Variability and Robustness Between Random Seeds”围绕不同随机种子下的熵、SeedVariability和LexDiv演化展开，结果表明随机初始化确实影响训练轨迹，但不同架构对这一扰动的敏感性不同。研究人员据此指出，种子间稳健性是衡量生成模型可靠性的关键维度，而LSTM与Transformer在稳定性方面表现出更有利的特征。
“4.3. Self-BLEU and Repetitiveness”利用Self-BLEU追踪训练中的重复程度，结果表明随着某些模型趋向更低熵状态，生成文本内部相似度升高，重复性增强。由此可见，低熵并不必然等同于高质量生成，反而可能意味着叙事表达空间被压缩。
“4.4. Entity Consistency in Generated Narratives”关注实体一致性（EntityCons），考察模型是否能在连续叙事中保持人物或对象引用的稳定。研究结果显示，实体连续性可以作为语义指称稳定性的估计指标，LSTM和Transformer在维持叙事实体一致方面更具优势。
“4.5. Optimal Training Epoch Detection”提出SweetSpot指标，将熵、多样性和一致性整合为单一指标，用于识别最佳训练时段。通过该分析，研究人员认为，训练并非越久越好，而是存在一个能够兼顾表达性与稳定性的最优区间。
“4.6. Evolution EntityCons”“4.7. Evolution Entropy”“4.8. Evolution LexDiv”“4.9. Evolution of SeedVariability”“4.10. Evolution of SelfBLUE”与“4.11. Evolution of SweetSpot”则将各项指标在所有模型与随机种子上的时间演化进行并行比较。综合这些结果可见，不同模型在不确定性控制、词汇丰富性、重复抑制和稳健性方面呈现出系统差异，且这些差异并非单一指标所能完整刻画。
“4.12. Evolution of Sweet Spot/Optimal Training Periods”进一步强调最优训练期识别的意义，即通过多目标标准自动发现更适合生成平衡叙事的训练区间。配合热图及跨种子方差分析，论文显示多指标联合监测有助于更直观地发现稳定区、转折点及模型间差异。
此外，句法复杂度相关结果表明，研究人员并未仅停留于词汇层面，还从依存结构和句法嵌套角度补充考察了生成文本的结构特征，使叙事评估更为全面。统计分析部分使用方差分析（ANOVA），结果显示熵差异达到p < 0.01，LexDiv差异达到p < 0.05，说明不同模型或训练条件下的若干关键指标差异具有统计学意义。

讨论部分强调，生成质量不应只由流畅性或概率最大化来定义，而应从不确定性、词汇多样性、重复行为和语义一致性等多维交互关系加以理解。论文明确指出，简单循环模型往往收敛更快，但更容易过早形成过度自信（overconfidence）与表达受限的问题；LSTM及基于注意力的模型则更可能在更长训练周期中维持适度不确定性，从而保留较好的结构和词汇变化。研究人员还强调，熵正则化不是被动的诊断手段，而是主动调节生成行为的重要机制；其不仅有助于缓解随机初始化带来的不稳定，还可能增强在教育或健康支持情境中的部署可靠性。对于神经多样性导向应用而言，这种平衡尤其关键，因为某些用户可能更需要可预测性，而另一些用户则更受益于适度变化，过于僵化或过于混乱的叙事都会削弱理解、注意与参与。

研究结论部分可译为：本文系统分析了在循环架构与基于注意力架构中进行概率文本生成时预测熵的行为。研究将熵引入为不确定性的诊断指标，同时也将其视为平衡词汇多样性、语义稳定性、重复行为以及语言模型训练稳健性的潜在控制工具。通过对循环架构和基于注意力架构的比较评估，研究表明，良好的生成质量来源于不确定性、多样性与连贯性等多个因素之间的相互作用，而不仅仅取决于概率优化。研究结果显示，若对熵的最小化缺乏调节，可能生成僵化且重复的叙事；相反，采用熵正则化训练有助于保持词汇多样性、促进叙事结构稳定，并提高对随机种子的稳健性。这一规律在所有模型中均有体现，说明所提出框架具有普适性。上述发现的意义不仅限于技术性能：在面向神经多样性个体的叙事情境中，维持受控的不确定性对于生成具有适应性、吸引力和认知可达性的叙事至关重要。熵正则化模型能够在不牺牲连贯性的前提下容纳变化，使概率语言建模与包容性设计原则保持一致。因此，教育叙事系统开发者应纳入熵正则化机制，以维持连贯性与词汇多样性的平衡；同时，可将预测熵监测作为诊断工具，用于识别重复生成模式，并依据用户的认知可达性需求调整叙事复杂度。对于面向神经多样性用户的应用场景，建议维持中等水平的熵，以避免叙事过于僵化或过于不可预测，从而促进更可达、更稳定且更具适应性的阅读体验。总体而言，预测熵不应仅被理解为概率建模的派生量，更应被视为引导生成系统实现平衡叙事行为、体现神经多样性意识的关键因素。未来工作将探索如何将有意识的熵目标扩展至更大规模数据集、交互式叙事场景与可适配用户的叙事系统。