《Journal of Choice Modelling》：“It should be relevant, reliable and feasible”: Introducing FACE, an instrument for assessing the face validity of choice experiments
编辑推荐：
为弥补选择实验在表面效度（face validity）评估方面的空白，本研究开发并初步验证了名为FACE的评估工具。该工具基于文献梳理出清晰度、完整性、可行性等9个维度，通过13个Likert量表条目，系统评估参与者对实验设计的理解与投入程度。其首次应用表明，选择实验的表面效度主要由相关性、可靠性和可行性三个核心要素决定。该工具有助于研究者标准化评估并提升实验设计质量，从而增强研究结果对政策与实践的参考价值。
在健康、环境、交通和营销等领域，研究者常常借助离散选择实验（Discrete Choice Experiment, DCE）、最佳-最差尺度法（Best-Worst Scaling, BWS）和参与式价值评估（Participatory Value Evaluation, PVE）等选择实验（Choice Experiments）来探索人们对于政策、技术、产品或服务的偏好。这些实验结果的可靠性，即其效度（validity），至关重要。传统上，研究者会重点关注实验的内部效度（Internal Validity，检验选择行为是否符合理性选择理论假设）和外部效度（External Validity，评估实验结果在真实场景中的预测能力）。然而，一个同样关键但长期被忽视的方面是表面效度（Face Validity），即参与者是否真正理解实验所呈现的信息，并按照实验设计者的意图进行解读和选择。如果参与者感到困惑、不投入，他们就可能随机选择或误解任务，从而导致数据质量下降，研究结论的参考价值大打折扣。目前，学术界缺乏一个系统、全面的工具来评估选择实验的表面效度。为了填补这一空白，来自荷兰代尔夫特理工大学的研究团队开发并初步测试了一个名为FACE（FAce validity of Choice Experiments）的评估工具，相关研究成果发表在《Journal of Choice Modelling》上。
为开展此项研究，研究人员主要采用了文献综述、工具开发、实证应用与统计验证相结合的方法。首先，通过探索性文献综述，确定了表面效度涵盖的清晰度、完整性、决策确定性、熟悉度、可行性、易读性、相关性、敏感性和透明性9个组件，并据此构建了包含13个陈述项的FACE评估工具（采用5点Likert量表）。随后，在一个关于荷兰COVID-19大流行防备措施的DCE案例研究中，对1020名参与者应用了该工具。最后，通过克伦巴赫α系数检验工具的内部一致性，利用探索性因子分析（Exploratory Factor Analysis）提炼核心维度，并借助线性回归分析探究了影响表面效度评价的因素。
3.1. 开发表面效度评估工具
通过对理论文献和应用研究的系统梳理，研究团队最终将表面效度操作化为9个组件，并设计了相应的13个陈述项来具体测量。例如，清晰度（Clarity）通过“我认为我必须做出的选择是清晰的”来评估；可行性（Feasibility）则通过“我认为我必须做出的选择是容易的”和“我能很好地专注于我必须做出的选择”来评估；相关性（Relevancy）涉及“我认为这是一个发表意见的重要主题”等。这些组件共同构成了一个多维度、系统化的评估框架。
3.2. 应用表面效度评估工具
在针对荷兰COVID-19防备措施的DCE案例中，1020名参与者完成了FACE工具。描述性统计结果显示，参与者普遍认为选择任务表述清晰、主题重要、信息易读且能保持专注。然而，他们也认为选择任务并不总是那么容易，对于最佳选择并非总是确定，并且感到在做出深思熟虑的选择时可能遗漏了相关信息。
3.3. 验证表面效度评估工具
信效度检验表明，FACE工具具有较好的内部一致性（Cronbach‘s Alpha α = 0.831）。探索性因子分析成功地从13个有效陈述项中提取出三个核心因子，解释了约69.5%的方差。第一个因子包含与选择清晰度、主题重要性、信息易读性、参与专注度等相关的条目，被命名为“相关性”。第二个因子与研究的可信度、信息完整性以及对选择被引导的感受相关，被命名为“可靠性”。第三个因子则与选择任务的难易度、决策确定性以及任务令人不快的程度相关，被命名为“可行性”。分析表明，一个选择实验的表面效度主要由参与者是否认为其调查设计具有相关性、可靠性和可行性所决定。
进一步的回归分析揭示了不同因素对这三个核心维度的影响模式。结果发现，相关性和可靠性主要与调查设计本身和决策问题的特性强相关，而可行性则与参与者的社会人口学特征（如年龄、性别、教育水平）联系最为紧密。具体而言，更年轻、男性、受教育程度较低、接种过COVID-19疫苗并且在实验中参与度更高的参与者，倾向于给予更高的表面效度评分。
本研究开发并初步测试了FACE工具，为系统评估选择实验的表面效度迈出了重要一步。研究结论指出，表面效度并非一个单一概念，而是由“相关性”、“可靠性”和“可行性”三个核心要素构成的多维度构念。FACE工具通过13个陈述项能够有效测量这些要素。这项研究的意义在于，它首次提供了一个标准化、可操作的量化工具，帮助研究者在实验设计阶段（如预测试）和数据分析阶段，系统评估并识别调查设计中可能影响参与者理解与投入的问题。这不仅有助于提升单个研究的内部数据质量，还能通过标准化评估实现不同研究之间的效度比较。尽管FACE被视为一个初版工具，有待在不同类型的选择实验（如BWS、PVE）和更广泛的领域（如交通、能源）中进一步验证和优化，但它明确指出了未来改进的方向，例如通过补充定性研究方法（如“出声思考”访谈）来深入理解参与者的真实解读过程，并据此优化问卷措辞，减少歧义。最终，提升选择实验的表面效度，能够促进参与者更准确地理解实验意图，做出更高质量的反应，从而增强整个研究的科学严谨性及其结论对政策制定和实践应用的参考价值与说服力。
