《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Towards Reliable Multimodal Disaster Severity Assessment through Preference Optimization and Explainable Vision-Language Reasoning
编辑推荐：
为提升多模态灾害损伤评估的可靠性与可解释性，研究人员通过整合监督微调（SFT）与直接偏好优化（DPO），构建了一个两阶段训练框架。该研究从单一人机协同标注流程中构建了ReasoningSet与PreferenceSet，并基于CrisisMMD数据集扩展了首个带有验证推理的危机数据集CrisisMMD-R。实验表明，SFT将基线准确率从73.64%提升至78.29%，Macro-F1提升了29%，解释质量提升约25%；后续的DPO对齐进一步增强了模型在PreferenceSet上的可解释性。该框架在InternVL-3-8B和LLaVA-1.5-7B模型上验证了其鲁棒性与通用性，为应急管理提供了可审计、可操作的可靠多模态决策支持。
在自然灾害频发的当下，如何快速、准确地评估灾害损失，是应急响应和救援决策的关键。社交媒体，特别是像X（前身为Twitter）这样的平台，凭借其即时性和广泛的覆盖面，已成为获取实时灾情信息的重要“传感器”。人们分享的图文信息，是了解现场情况、评估损害严重性的宝贵一手资料。然而，这些信息也充斥着噪声、未经验证的内容甚至虚假信息，这给依赖其进行自动化分析的模型带来了巨大挑战。传统的灾害评估模型就像一个“黑箱”——它们或许能给出“严重”、“轻微”或“无损伤”的标签，但却无法告诉我们“为什么”做出这样的判断。这种不透明性在分秒必争、关乎生命的应急决策场景中，是难以被接受的。决策者需要的不只是一个冰冷的分类结果，更需要知道模型判断的依据是什么，哪些视觉或文本证据支持了这个结论，这样才能建立信任、进行错误分析并整合领域专家知识。因此，开发一个既能准确预测又能提供透明解释的可靠多模态评估系统，成为了一个迫切的研究需求。
为了填补这一空白，由Yuanjun Zhang, Fuzel Ahamed Shaik, Suvojit Acharjee, Fahad Khalid, Mourad Oussalah组成的研究团队开展了一项研究，并最终将成果发表在了《RELIABILITY ENGINEERING & SYSTEM SAFETY》期刊上。他们提出了一个创新的两阶段训练框架，旨在构建可靠且可解释的多模态灾害严重性评估系统。这个框架巧妙地利用了人类反馈来优化模型，其核心在于：从一个高效的人机协同（Human-in-the-Loop, HITL）标注流程中，同时生成两个互补的数据集——用于监督微调（Supervised Fine-Tuning, SFT）的、包含已验证推理的“ReasoningSet”，以及用于基于直接偏好优化（Direct Preference Optimization, DPO）对齐的、包含成对推理（优选vs弃用）的“PreferenceSet”。研究团队在三个主流的开源视觉语言模型（Qwen2.5-VL-7B, InternVL3-8B, LLaVA1.5-7B）上验证了该框架的有效性。
为开展这项研究，研究人员主要运用了以下几项关键技术方法：首先，数据构造与人工标注：以现有的CrisisMMD多模态危机数据集为基础，利用先进的Qwen-VL-Max模型自动生成初步解释草案，随后通过一套严谨的、包含贡献者评分和专家评审的多阶段人机协同协议，对这些草案进行评估、修正和验证，最终构建出包含1284条已验证推理的ReasoningSet和287组成对偏好的PreferenceSet。其次，模型架构与训练：研究以Qwen2.5-VL-7B为主要模型，并采用参数高效的低秩自适应（LoRA）技术，进行了两阶段训练。第一阶段是监督微调，模型学习同时生成灾害严重性标签和对应的自然语言解释。第二阶段是直接偏好优化，利用PreferenceSet中的人工修正偏好对，进一步对齐模型的推理输出，使其更符合人类的判断标准。最后，综合评估框架：研究设计了一个全面的评估体系，不仅使用准确率、Macro-F1等传统分类指标，还引入了BLEU、ROUGE等自动文本度量、基于高级模型的打分以及人工排序，来系统性地衡量模型解释的质量。
研究结果
- •
3.1. 数据集构建
研究成功构建了CrisisMMD-R数据集，这是首个为危机损害评估提供人工验证、细粒度解释及对齐偏好对的多模态数据集。通过HITL流程，从3526个原始推文-图像对中，产生了1284条高质量解释用于SFT，以及287对偏好数据用于DPO，确保了数据质量和对齐信号的有效性。
- •
3.4. 提示设计与数据序列化
研究设计了统一的系统提示，明确了灾害评估标准，并强调图像是主要证据源。在模型训练中，采用了与LLaMA-Factory工具包兼容的ShareGPT格式对图像-推文对及对应解释（或偏好对）进行序列化，确保了训练数据格式的规范性。
- •
4.1. 分类性能分析
实验结果表明，所提出的训练框架显著提升了模型的分类性能。在Qwen2.5-VL-7B模型上，仅进行监督微调，准确率就从基线的73.64%提升至78.29%，Macro-F1分数更是大幅提升了29%。后续的DPO对齐在保持分类性能的同时，专注于优化解释质量。该框架在识别代表性不足的“轻微损伤”案例和减少高风险误分类方面表现出色。在InternVL3-8B和LLaVA1.5-7B模型上的交叉验证也取得了积极的性能提升，证明了该方法的稳健性和普适性。
- •
4.2. 解释质量分析
在解释质量方面，研究采用了多维度评估。监督微调阶段使解释质量相比基线提升了约25%。随后的DPO对齐进一步提高了模型在PreferenceSet上的可解释性，表明经过偏好优化的模型生成的解释，在证据识别、逻辑链和文本自然度上更接近人类专家的偏好。综合评估证实，该框架有效增强了模型推理与人类判断之间的一致性。
- •
4.3. 消融实验与讨论
消融实验深入探讨了不同数据配置和训练阶段的影响。结果显示，同时使用图像和文本作为输入，比仅使用单一模态能获得更优的分类和解释性能。两阶段训练（SFT+DPO）被证明是必要的，SFT建立了基本的预测和解释能力，而DPO则在此基础上进行精细化对齐。研究还讨论了模型在处理类别不平衡和复杂场景时的表现，以及当前框架的局限性，如对某些特定灾害类型或文化语境细节的捕捉能力仍有提升空间。
研究结论与意义
本研究成功开发并验证了一个用于可靠多模态灾害严重性评估的创新框架。该框架的核心贡献在于：1) 引入了首个带有验证推理的危机数据集CrisisMMD-R及配套的HITL标注协议；2) 提出了一个结合监督微调和直接偏好优化的两阶段训练方法，可有效提升视觉语言模型在灾害分类任务上的准确性和解释质量；3) 设计了一个综合评估体系，能系统衡量预测性能和解释质量。
研究表明，该框架能够提高对“轻微损伤”这类代表性不足案例的检测能力，减少高风险误分类，并显著加强模型推理与人类判断之间的对齐。通过在Qwen2.5-VL-7B、InternVL3-8B和LLaVA1.5-7B等多个主流开源模型上的成功验证，证明了该方法的鲁棒性和可推广性。
这项工作将危机信息学的研究从单纯的预测分类，向前推进到了可审计、解释感知的决策支持系统。它为解决应急管理领域长期存在的数据可信度与系统问责制难题提供了一条可重复的技术路径。最终，该框架致力于产出可供审计、可付诸行动的灾害洞察，为在时间压力下进行风险告知的应急决策提供了更可靠、更值得信赖的工具，对提升应急响应系统的整体韧性与可靠性具有重要的理论和实践意义。
