《International Journal of Industrial Ergonomics》：When artificial intelligence misguides the brain: A cognitive-ethical mechanism in industrial safety decisions
编辑推荐：
人工智建议误时高危险工业场景中安全评估存在提升效应，道德疏离作为中介机制引发决策合理化，安全评估经验具有调节作用。
余晓宇|何琳|秦佳音|刘涛
上海大学管理学院，中国上海
摘要
人工智能（AI）正越来越多地应用于安全关键行业，以支持风险评估和决策制定。虽然AI在减少人为错误和提高效率方面具有巨大潜力，但当AI的建议导致人们放松安全标准并低估风险时，就会出现伦理问题。本研究探讨了AI建议的准确性如何影响高风险工业环境中的安全评估。实验采用了2（AI建议：正确 vs. 错误，组间设计）× 2（评估阶段：独立阶段 vs. 协作阶段，组内设计）的混合因子设计，共有82名参与者首先独立评估高风险工业项目的安全性，随后在与AI的协作中重新进行评估。结果表明，错误的AI建议与更高的安全评级相关，并且参与者更有可能将正确的判断转变为错误的批准。道德脱离成为这一现象的关键中介因素。当参与者接触到错误的“安全”建议时，他们表现出更强的道德脱离倾向，这与他们对不安全决策的合理化解释以及安全阈值的降低是一致的。此外，安全评估经验调节了这种效应，有经验的参与者表现出更强的批判性监督能力，对错误AI建议的敏感度降低。这些发现揭示了AI在安全关键情境中误导人类判断的认知-伦理机制，表明尽管AI可以减少人为错误，但它也可能同时放大自动化偏见和伦理脆弱性。
引言
在工业4.0时代，人工智能（AI）越来越多地融入工业安全评估和决策制定中，支持实时监控、危险检测和风险预测等应用（Gursel等人，2025年）。最近的行业实践说明了这一转变：壳牌公司的基于计算机视觉的系统能够识别不安全行为，实现动态风险管理；Suffolk Construction的预测分析使事故率在一年内降低了28%；Norfolk Southern的AI增强型检查提高了铁路运营中的缺陷检测能力。总体而言，这些案例凸显了AI通过效率和精确度提升安全治理的潜力。
然而，这些优势并不能保证可靠性。大量研究表明存在自动化偏见的风险——即使算法建议不正确，人们也倾向于过度依赖它。这种过度依赖可能导致个体忽视最初的正确判断，转而采纳错误的建议，从而加剧风险（Goddard等人，2012年）。在决策具有道德和伦理后果的安全关键领域，这种盲目的依赖尤其成问题，因为它可能使有缺陷的安全判断变得正常化，最终导致事故。与医疗保健或航空等领域相比，在生产压力大且不安全决策的后果延迟的工业环境中，这种问题尤为突出（Trstenjak等人，2025年）。
现有的研究主要强调了AI在决策效率和一致性方面的优势（Giuggioli和Pellegrini，2023年；Peng等人，2024年；Xiong等人，2022年）。然而，新的证据表明，AI也可能以问题方式影响道德和伦理推理。例如，对话式AI已被证明会促使人们倾向于功利主义判断，而忽视义务论考虑（Zhou等人，2022年），而ChatGPT生成的陈述也被发现会微妙地改变道德判断，用户往往没有意识到这种影响（Krügel等人，2023年）。这些发现表明，除了效率提升之外，人机协作还可能带来未被充分探索的伦理风险。目前尚不清楚的是，在安全关键情境中，人们是否会采纳错误的AI建议，从而降低他们的安全阈值。随着AI工具成为工业工作流程的不可或缺的一部分，理解和缓解这些认知-伦理风险对于设计更安全、更具韧性的一个人机系统至关重要。
基于此背景，本研究的主要目的是探讨人们在工业安全评估中是否以及会在多大程度上采纳错误的AI建议，特别是在具有伦理和安全影响的高风险情境中。除了这一核心目标外，研究还追求两个次要目标。首先，探索道德脱离作为一种与错误AI建议易感性相关的心理过程；其次，探讨安全评估经验是否调节这些关联。这些目标共同构成了一个层次化的研究框架，其中采纳错误AI建议是核心现象，而伦理机制和个人差异提供了解释深度和边界条件。为了解决这些问题，本研究探讨了三个相互关联的研究问题（RQs）。
RQ1：人们在高风险安全评估中是否会采纳错误的AI建议？
RQ2：这种易感性背后的心理机制是什么？
RQ3：哪些个人差异调节了这些效应？
总体而言，这些研究问题带来了三个关键贡献：（1）本研究将错误的AI建议与具有伦理后果的安全评估联系起来，表明这种建议可能扭曲安全关键情境中的人类判断。与以往自动化偏见研究中主要讨论的“不准确自动化”不同（后者主要关注技术或认知错误），安全关键情境中的错误AI建议提供了具有伦理后果的指导，可能通过将风险重新定义为可接受的来使不安全决策合法化，从而影响道德意识和感知到的责任。通过这种区分，研究突出了人机协作中一个未被充分探索的伦理维度，并表明自动化偏见不仅涉及认知后果，还涉及伦理后果。（2）研究确定了错误AI建议影响安全评估的伦理过程。虽然之前的自动化偏见研究强调了认知机制（如认知负荷或过度信任），但本研究将范式扩展到伦理决策框架，强调了个体如何合理化对AI的道德上有问题的依赖。（3）研究确定了专业经验作为抵御自动化偏见引发的伦理风险的潜在保护因素，表明基于经验的判断和伦理警觉性可能有助于减轻错误AI建议在人机协作决策中的不利影响。这些见解对于工业人体工程学应用（如制造检查、设备维护和安全认证）尤其相关，因为它们揭示了AI辅助决策系统如何影响安全关键工作系统中的人类判断和伦理责任。方法上，混合的组内/组间设计以及连续和分类行为指标的使用增强了研究的内部有效性，并为研究结论提供了一致的证据。
研究内容的结构如下。第2节回顾了关于AI建议及其对安全关键领域人类决策影响的现有文献，并进一步探讨了AI建议、决策制定、道德脱离和专业经验之间的关系，从而发展出了研究的概念模型。第三节详细描述了研究设计和方法。具体来说，采用了2（AI建议：正确 vs. 错误）× 2（评估阶段：独立阶段 vs. 协作阶段）的混合实验设计。第四节报告了统计分析结果，包括混合效应模型结果、中介效应和调节效应测试以及稳健性检验，以验证概念框架。第五节讨论了研究结果的理论和实践意义。最后，结论总结了本研究的主要贡献，并强调了其对人机协作安全决策的重要性。
研究片段
AI建议对工业安全决策的影响
人为错误是核能、航空、医疗保健和石化等行业中事故和故障的主要原因（Gursel等人，2025年；Park等人，2022年）。随着工业4.0和智能制造的到来，人工智能（AI）和机器学习技术越来越多地应用于高风险工业环境中，以提高运营效率和系统安全性（Gholamizadeh等人，2025年；He等人，2024年）。
参与者
共有82名大学生（65名女性，17名男性）参与了实验。大多数学生就读于工业工程及相关专业，如自动化、环境科学与工程以及材料科学与工程。这些专业通常包括人为因素工程和安全系统工程的课程，许多学生认为安全管理或风险评估是潜在的职业路径。因此，这些参与者具备相关的基础知识。
结果
统计分析使用SPSS 25.0软件进行。SPSS的PROCESS宏用于调节中介效应测试。显著性水平α = 0.05。表2展示了描述性分析的结果。
AI建议准确性对安全评估的影响
本研究考察了AI建议对工业安全评估的直接影响。结果显示，与正确的AI建议相比，当AI错误地将高风险项目分类为“可安全实施”时，参与者认为这些危险情境的安全性显著更高，并且更有可能将最初正确的判断修正为忽略潜在风险的错误判断。这一发现表明，当AI低估风险时，人类决策者可能会更倾向于放松安全标准。
结论
本研究通过受控实验室实验表明，错误的AI建议可能会在高风险工业环境中夸大安全评估，同时揭示了这一效应背后的认知-伦理机制。总体而言，这些发现将自动化偏见研究扩展到了认知可靠性之外，涵盖了人机协作的伦理维度。它们还为实践提供了潜在的启示，表明基于经验的培训可能有助于
CRediT作者贡献声明
余晓宇：撰写 – 审稿与编辑，撰写 – 原稿，验证，监督，资源协调，项目管理，方法论，资金获取，概念化。何琳：撰写 – 审稿与编辑，撰写 – 原稿，验证，方法论，资金获取，正式分析，数据管理，概念化。秦佳音：撰写 – 原稿，验证，软件使用，正式分析，数据管理，概念化。刘涛：撰写 – 审稿与编辑，资金协调
生成式AI和AI辅助技术的声明
在准备本工作时，作者使用了[ChatGPT 5.0]来[改进手稿的语言]。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。
资金
本研究得到了国家自然科学基金（72502144；72532008；72472094）、中国博士后科学基金（2024M761922）和CPSF博士后奖学金计划（GZC20240972）的支持。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
