《TECHNOLOGY IN SOCIETY》：Providing feedback without verification: A hidden risk of trust in generative AI
编辑推荐：
生成式AI（GenAI）可能输出看似可信实则错误的信息，带来判断失误和谣言扩散风险。研究通过544名用户问卷调查发现，信任具有双重效应：提升反馈意愿但抑制验证倾向，导致错误可能被强化和传播。GenAI的多功能性、创造性和多模态特性显著增强用户信任，但可能加剧风险。这些发现为设计信任调节机制和降低GenAI风险提供了依据。
胡鹏|曹翠翠|李丹
安徽农业大学人文与社会科学学院，中国合肥市长江西路130号
摘要
生成式人工智能（GenAI）能够产生看似可信但实际上不准确或伪造的回应，这可能导致错误的判断和错误信息的传播。应对这些风险不仅取决于系统的性能，还取决于用户在GenAI输出错误时的反应。在这方面，有两种行为至关重要：验证输出和向GenAI提供反馈。验证有助于用户在接受或分享之前发现潜在的错误，而反馈则有助于系统从错误中学习。为了理解这两种行为，我们研究了人们对GenAI的信任如何影响它们，以及这种信任在系统层面是如何形成的。通过分析544名用户的调查数据，我们发现信任具有双重效应：它增加了用户提供反馈的意愿，但降低了他们验证输出的倾向。这种双重性揭示了一个隐藏的风险：随着信任的增加，用户可能会通过提供未经验证的反馈（例如，对不准确的回应点赞）来强化系统中的现有错误。我们进一步发现，GenAI的多功能性、创造力和多模态性增强了信任，这表明使这些系统具有吸引力的特性也可能导致这种隐藏的风险。这些发现为设计调整信任和支持GenAI技术负责任治理的干预措施提供了启示。
引言
在生成式人工智能（GenAI）时代，一个普遍存在的问题是，这些系统能够产生连贯且看似可信的回应，但有时这些回应是不准确的或完全伪造的（Feuerriegel等人，2024年；Kim等人，2025年；Rice等人，2024年）。这种幻觉问题在两个层面上带来了后果严重的风险。对于个人用户来说，将不准确的输出视为正确可能会扭曲他们的判断，尤其是在准确性至关重要的任务情境中。除了个人层面之外，一旦这些输出被分享或重复使用，它们还可能导致错误信息的更广泛传播（Park & Nan，2026年）。这些风险表明，GenAI的价值不仅取决于系统产生的内容，还取决于用户在系统输出可能出错时的反应。
为了应对这些风险，两种用户行为尤为重要：验证和反馈。验证是指用户在接受或分享GenAI输出之前评估其准确性和可靠性的努力（Ni & Huang，2025年）。通过验证AI生成的内容，用户可以减少自己依赖错误信息的可能性，并防止不准确的输出被更广泛地传播（Moon & Kahlor，2025年）。然而，仅靠验证是不够的。即使用户发现了错误，除非这些信息通过反馈传递回系统，否则GenAI也无法有效改进。因此，反馈通过提供纠正信号来帮助改进响应并支持模型的持续改进（Yang等人，2026年），从而发挥了独特的作用。从这个意义上说，验证是一种防止错误输出带来的即时风险的保护机制，而反馈则是一种纠正机制，有助于减少未来交互中类似错误持续发生的可能性。
尽管这些行为很重要，但很少有研究探讨用户在与GenAI系统交互时为何会采取这些行为。用户是否验证AI生成的输出或提供反馈，最终取决于他们如何评估所交互的系统。在人机交互中，这种评估与信任密切相关，信任长期以来一直被认为是影响用户对智能系统反应的关键因素（Choung等人，2024年；Hu等人，2021年；Kaplan等人，2023年；Ou等人，2026年）。然而，在这种情境下，信任的作用可能比看起来更复杂。一方面，信任可能会鼓励用户在完成任务时更积极地与AI系统互动。另一方面，信任系统也可能降低用户对其输出进行批判性审查的倾向。这种矛盾促使我们提出问题：信任如何在GenAI交互中影响用户的验证和反馈行为？
由于信任可能会影响这些与风险相关的行为，因此理解信任的形成方式成为一个关键的上游问题。然而，在GenAI的背景下，信任的形成难以评估，因为用户通常无法直接观察到系统的底层模型或技术能力（Huang等人，2025年）。线索利用理论表明，当个人无法直接评估系统的真实质量时，他们会依赖可观察的线索来对其底层属性形成判断（Hu等人，2010年）。在GenAI交互中，这些线索嵌入在系统的生成特性或交互特征中。从这个意义上说，多功能性、创造力、多模态性和情感性等特征可能作为用户评估GenAI系统能力和可信度的信号。这使我们进一步提出问题：GenAI的哪些特性影响了用户对系统的信任？
识别驱动用户信任的GenAI特性至关重要，因为这不仅有助于理解上述GenAI风险在系统层面的起源，还有助于了解如何在GenAI设计中减轻这些风险。首先，如果某些系统特性培养了用户的信任，从而减少了输出验证或鼓励未经验证的反馈，那么这些特性就成为风险的重要来源。从这个意义上说，识别促进信任的特性有助于解释为什么在GenAI交互中会出现错误信息风险和强化错误的反馈。其次，理解信任的驱动因素也具有实际价值。一旦确定了信任的来源，设计师和平台运营商就能更好地调整信任。例如，可以将促进信任的特性与警告或保持用户审查的界面机制相结合。通过这种方式，研究GenAI中的信任驱动因素也为设计调整信任和支持GenAI系统的负责任使用和治理提供了基础。
我们基于544名GenAI用户的调查数据进行的实证分析揭示了信任在GenAI中的双重效应：虽然较高的信任增加了用户向系统提供反馈的意愿，但它也可能降低用户验证GenAI输出准确性的倾向。这种双重性揭示了一个隐藏的风险：未经检验的信任可能会通过未经验证的反馈强化系统中的现有错误，而减少审查则可能导致AI生成错误信息的更广泛传播。此外，我们发现并非所有GenAI的特性都对信任的形成有同等的影响。多功能性、创造力和多模态性显著增强了用户对GenAI的信任，而情感性则没有显示出显著的效果。这种模式表明，用户在评估GenAI系统时更重视功能性线索而非情感信号。总的来说，这些发现表明，使GenAI系统显得可信的特性也可能创造条件，使错误信息更容易被接受或传播。
这项研究通过解释人类对GenAI输出的响应如何影响与这些系统相关的社会风险，为GenAI文献做出了贡献。与以往主要关注GenAI采用及其对人类生产力影响的研究（Liao等人，2025年；Lu，2024年；Noy & Zhang，2023年；Zheng等人，2025年）不同，本研究将注意力转向了用户通过哪些关键行为影响GenAI本身。通过研究验证和反馈行为，它强调了用户在系统学习和改进中的积极作用。更重要的是，我们的发现揭示了一个文献中尚未记录的信任悖论：虽然信任鼓励用户通过反馈与GenAI互动，但它同时也抑制了他们验证系统输出的倾向。这种悖论表明，正是使人类与AI协作成为可能的信任，也可能放大了与错误信息相关的社会风险，并影响了生成式人工智能时代更广泛的信息生态系统。实际上，这些发现为系统设计师和平台运营商提供了促进建设性用户参与的同时保持对AI生成内容批判性评估的见解。
章节摘录
对AI的信任前提
信任是人机交互中的一个关键概念，尤其是在涉及AI系统的情境中。Mayer等人（1995年）提出的组织环境中信任的基础理论将信任定义为一方愿意暴露于另一方的行为之下，基于后者将执行对信任方重要的特定行为的期望，而不考虑监控或控制该方的能力。这一概念已被应用于AI
影响用户信任的GenAI因素
由于GenAI系统能够在各种模式下产生创造性和与上下文相关的输出，因此为人与AI的交互带来了新的维度（Marimon等人，2024年；Saif等人，2024年）。与通常局限于特定任务和领域的先前AI系统不同，像GPT模型这样的GenAI系统表现出更加灵活和通用化的能力（Feuerriegel等人，2024年）。这种灵活性来源于其关键特性——多功能性、创造力方法论
本研究的目的是探讨GenAI特性、用户信任以及两种采用后行为之间的结构关系。由于这些关系反映了用户的感知评估、态度判断和一般行为倾向，因此调查方法是适当的方法选择（Podsakoff等人，2012年）。基于调查的设计在系统信任研究和人机交互研究中被广泛使用，以捕捉心理机制
结果
我们首先检验了研究中的测量模型的可靠性和有效性。使用Cronbach's alpha和复合可靠性（CR）来评估可靠性。如表4所示，所有构念的Cronbach's alpha值在0.730到0.879之间，超过了可接受的0.70的阈值，表明内部一致性很高。同样，每个构念的CR值也超过了推荐的0.70阈值，进一步证实了测量模型的可靠性。
关键发现讨论
研究发现，多功能性、创造力和多模态性可以增强用户对GenAI的信任。多功能性是指GenAI系统能够在各种领域执行广泛任务的能力，在培养信任方面起着关键作用。用户认为多功能系统更具适应性，能够处理多样化的场景，这增加了他们依赖这些系统完成常规和复杂任务的信心（Feuerriegel等人，2024年）。同样，创造力
结论
研究表明，与生成式AI相关的风险不仅仅源于该技术产生看似合理但不准确输出的限制。它们还源于用户在形成对系统的信任后对这些输出的响应方式。我们的发现表明，信任在某种程度上是矛盾的：它可以鼓励用户通过反馈与系统互动，但同时也抑制了他们验证输出是否正确的倾向。这指向了一个更广泛的问题
CRediT作者贡献声明
胡鹏：撰写——审阅与编辑，撰写——初稿，调查，概念化。曹翠翠：撰写——审阅与编辑，软件，形式分析，概念化。李丹：撰写——审阅与编辑，验证，资源，方法论。
资金支持
本工作得到了安徽省教育厅（编号：2023AH050965）的资助。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
