《Applied Sciences》：Automated Safety Precaution Generation in High-Risk Industries: A Parameter-Efficient Fine-Tuning Approach with Mistral-7B
编辑推荐：
摘要：矿业面临复杂的作业危害，需通过系统的风险评估来实现事故的主动预防。尽管大语言模型（Large Language Model, LLM）在自动生成安全措施方面潜力巨大，但领域专用术语的匮乏及高质量标注安全数据（低资源环境）的稀缺阻碍了其直接应用。本研究探讨
摘要：矿业面临复杂的作业危害，需通过系统的风险评估来实现事故的主动预防。尽管大语言模型（Large Language Model, LLM）在自动生成安全措施方面潜力巨大，但领域专用术语的匮乏及高质量标注安全数据（低资源环境）的稀缺阻碍了其直接应用。本研究探讨并优化了数据增强策略，以使LLM能够基于结构化的煤矿风险记录生成准确且具备情境敏感性的安全措施文本。研究系统探究了四种实验配置，结合Mistral-7B-Instruct模型与量化低秩适配（Quantised Low-Rank Adaptation, QLoRA）进行高效微调：即（i）无增强基线；（ii）输入侧词汇增强（Input-Side Lexical Augmentation）；（iii）输出侧多参考增强（Output-Side Multi-Reference Augmentation）；（iv）组合策略。采用BLEU、ROUGE、METEOR及BERTScore指标评估性能，并辅以统计显著性检验与定性分析。结果表明，相较于其他策略，输入侧数据增强策略表现更优。输入侧数据增强使BERTScore (F1)由0.360提升至0.530，BLEU得分由16.02提升至29.50；而输出侧多参考增强则引发更大的学习不确定性并导致性能下降。统计与定性分析证实，增加输入多样性可最小化模型过拟合，使其生成一致、可应用的领域专用安全措施。所提方法为高危及工业环境（如矿业）的自动化风险管理提供了高可扩展解决方案，提供了一种可靠的数据驱动决策支持机制，以降低人工审核的局限性。
《Applied Sciences》发表论文解读：高风险行业自动化安全预防措施生成——基于Mistral-7B的QLoRA微调方法研究
一、研究背景与问题提出
矿业是全球最高危的行业之一，其固有的地质技术、环境与作业危害要求必须进行系统的风险评估与事故预防。传统上对矿难报告和安全文本的分析高度依赖人工审阅，耗时费力且易受主观偏差影响；而基于规则的方法又难以捕捉复杂事故场景中的潜在主题。近年来大语言模型（Large Language Model, LLM）在自然语言处理（Natural Language Processing, NLP）领域取得突破，可从非结构化安全报告中提取洞察，但其直接应用于"高壁（highwall）"、"煤壁（rib）"、"工作面（face）"等高度专业化矿业领域时常出现语义歧义和误分类。此外，矿业安全文本属于典型的"低资源（Low-Resource）"数据集，标注样本稀少（本研究仅n=228），直接对数十亿参数的LLM进行全量微调面临高昂算力成本与过拟合风险。尽管参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术可缓解算力问题，但数据稀缺仍使模型难以习得特定工业术语。现有文献中LLM在矿业安全中的应用多局限于被动文本挖掘（如主题提取、事故原因分类），针对"根据定义的风险场景自动生成可执行、情境特异的安全预防措施文本"（条件文本生成，Conditional Text Generation）尚缺乏系统性研究。因此，研究人员核心研究问题是：在低资源矿业安全数据集中，如何优化数据增强辅助的PEFT策略以提升LLM生成情境敏感安全措施文本的性能，以及输入侧与输出侧增强各自产生何种影响？
二、关键技术方法概述
研究人员采集自某煤矿风险评估的实际结构化安全记录共228条，每条含单位（Unit）、作业内容（Work_Done）、危险源（Threat）、设备（Equipment_Used）、风险描述（Risk）、可能后果（Result）六个输入字段及对应安全措施（Precaution）一个输出字段。按固定随机种子分层切分为训练集（70%，n=158）、验证集（15%，n=35）与测试集（15%，n=35），数据增强仅施加于训练集以防泄露。基模选用Mistral-7B-Instruct-v0.2，采用量化低秩适配（Quantised Low-Rank Adaptation, QLoRA）进行PEFT微调：基模权重量化为4-bit NormalFloat (NF4)并启用双重量化，LoRA秩r=16、alpha=32、dropout=0.05，作用于全部注意力及前馈投影层，优化器为8-bit Paged AdamW，学习率2×10?4带余弦预热，有效批次大小32（批次1+梯度累积32），训练10轮取最优验证损失检查点。设计四组对照实验：（E1）无增强基线；（E2）输入侧词汇增强——对输入字段做领域同义词替换与浅层短语改写，保持Precaution不变，训练集扩为原3倍；（E3）输出侧多参考增强——对同一输入生成多个改写版Precaution作为多参考输出，训练集扩为原3倍；（E4）输入+输出组合增强，训练集扩为原5倍。每实验重复5个随机种子，采用BLEU、ROUGE-L、METEOR及BERTScore评估，并以配对t检验与Wilcoxon符号秩检验进行统计显著性分析，辅以生成文本的定性专家评审。
三、研究结果
3.1 基线模型性能（Baseline Model Performance）
仅用原始158条样本微调的基线模型（E1）各项指标较低：BLEU=16.02，ROUGE-L=0.285，METEOR=0.221，BERTScore F1=0.360，且不同随机种子下标准差较大，表明小样本下模型泛化受限且训练不稳定。
3.2 数据增强的影响（Impact of Data Augmentation）
输入侧词汇增强（E2）相较基线带来显著提升：BLEU升至29.50，ROUGE-L=0.401，METEOR=0.328，BERTScore F1=0.530。n-gram匹配度与语义相似度均同步改善，说明增加输入语言多样性帮助模型学到更稳健的"多输入→同一输出"映射关系。
3.3 增强策略比较（Comparison of Augmentation Strategies）
四组对比显示E2全面最优；E3（输出侧多参考增强）反而全面劣于基线（BLEU=12.21，BERTScore F1=0.341）；E4（组合）仅略优于基线（BLEU=14.33，BERTScore F1=0.355）但仍远不及E2。证明输入侧增强有效，而输出侧引入多参考在安全文本低熵输出空间内造成学习干扰，组合策略因含输出侧增强抵消了输入侧收益。
3.4 统计显著性分析（Statistical Significance Analysis）
配对t检验与Wilcoxon检验表明E2与E1/E3/E4间METEOR与BERTScore差异具统计学显著意义（p<0.05）；E2与E1的BLEU差异p=0.102接近显著，归因于小样本（5次种子）统计功效不足。E3性能下降相较E1亦具统计显著性，验证了输出侧多参考增强损害低资源确定性输出任务性能的可靠性。
3.5 指标分布分析（Metric Distribution Analysis）
E2五种子下各指标箱线图显示BERTScore F1集中于均值0.530附近且方差极低，ROUGE与METEOR中位数稳定，说明输入侧增强后模型语义推断成功具有可重现性。指标间相关性热图显示ROUGE-1与ROUGE-2强正相关，METEOR与BERTScore强正相关，印证模型同时掌握词汇与深层安全语义。
3.6 模型输出定性分析（Qualitative Analysis of Model Outputs）
对测试集样本人工评审分三类：①情境正确且充分——模型在爆破作业、传感器故障、掘进安全等明确定义场景中生成与参考文本高度吻合的措施；②部分正确但泛化——捕捉正确方向但缺具体操作细节（如仅提"采取防护措施"未指明特定设备）；③错误或不充分——罕见组合或复杂多重风险场景下出现过度泛化或遗漏。E2策略明显提升了①类比例，但数据集未充分覆盖的细分场景仍存局限。
四、讨论与结论翻译
讨论部分指出，输出侧多参考增强（E3）失效的机制在于：矿业安全措施受标准作业程序与法规约束，条件输出分布P(y|x)呈低熵（Low-Entropy）、单峰结构；E3人为将同输入对应多个不同输出，制造伪多峰分布，导致自回归模型在交叉熵损失训练下发生梯度冲突（Gradient Conflict）——不同参考产生的参数更新方向相斥致使净梯度信号减弱，以及概率质量稀释（Probability Mass Dilution）——有限容量的LoRA适配器被迫将概率质量分散至多条异序序列，使贪婪或束搜索解码时最似然输出的置信度降低。定性观察到的过度泛化（"采取必要安全预防措施"）与不一致杂糅文本支持此解释。反之E2扩大输入空间熵但维持输出确定性，促使模型学习可泛化的多对一映射，契合低资源场景需求。该"增强有效性取决于被增强空间的熵结构与任务目标输出空间熵是否匹配"的原则对法律文本、医疗报告、技术文档等输出受限领域具普遍借鉴意义。
结论部分翻译如下：
本研究作出两项学术贡献并为高风险低资源领域（如煤矿）LLM可靠有效部署提供一项实践启示。
学术贡献：本研究关键方法论贡献是实证表明数据增强策略的有效性不仅取决于数据量，还取决于目标输出空间的熵结构。在条件输出分布P(y|x)固有低熵的任务中——如安全关键的程序性文本生成——通过多参考增强（E3）人为抬高输出熵会导致梯度冲突与概率质量稀释，致使四项评估指标出现统计学显著的性能下降。相反，在保持输出确定性的同时扩展输入多样性（E2）带来一致且统计显著的收益（BERTScore F1相对提升47%：0.360→0.530）。这一以熵为核心的数据增强原则是本研究对数据增强文献的主要贡献，在采矿之外具直接设计启示：凡程序合规性、法律确定性或操作确定性约束可接受输出空间的场合（含医疗文书、法律文本生成、技术报告），输出侧数据增强均需审慎对待。
实践应用价值：本研究为具限量领域专用文本数据的工业组织提供可行路径。证明结合基于QLoRA的参数高效微调与精心设计的输入增强策略，可构建生成一致、情境感知安全措施的决策支持系统，有望降低对昂贵人工专家的依赖。此方法不限于矿业，亦可适配具相似数据约束的其他高危行业（建筑、能源、石化）。
未来研究：需在不同产业与语言上验证方法普适性，并由独立领域专家对模型输出进行结构化评估。
--- 论文发表于《Applied Sciences》(MDPI), 2025, 16(12): 5784.
