《Journal of Public Child Welfare》:Evaluating disability bias in the Allegheny Family Screening Tool: implications for child welfare decisions
编辑推荐:
儿童福利系统正日益采用算法决策(ADM)工具,但评估此类工具对残障人士影响的研究仍然有限。该研究通过考察阿勒格尼家庭筛查工具(AFST)中的残障相关偏倚来填补这一空白。研究人员从阿勒格尼县人类服务部获取了AFST所使用的变量及其系数。研究人员利用美国社区调查(
儿童福利系统正日益采用算法决策(ADM)工具,但评估此类工具对残障人士影响的研究仍然有限。该研究通过考察阿勒格尼家庭筛查工具(AFST)中的残障相关偏倚来填补这一空白。研究人员从阿勒格尼县人类服务部获取了AFST所使用的变量及其系数。研究人员利用美国社区调查(ACS)、医疗支出小组调查(MEPS)和全国药物使用与健康调查(NSDUH)的数据,评估残障父母与残障儿童相较于其非残障对应人群是否会得到更不利的AFST评分。结果显示,在研究人员考察的AFST全部评分要素中,残障父母和残障儿童均显著更可能受到不利赋分。这些要素包括社会经济指标、医疗服务利用模式、公共福利项目参与情况以及与刑事法律系统的接触。尽管AFST并未包含任何显性的残障测量指标,但该工具通过代理变量有效编码了残障状态,可能使残障父母及其子女受到不成比例的审查与干预。AFST可能并非纠正而是强化了针对残障父母的历史性偏见,这对算法工具在公共部门决策中的角色提出了重要问题。
该文发表于《Journal of Public Child Welfare》,聚焦儿童福利系统中自动化决策(ADM,自动化决策)工具的残障偏倚问题,并以阿勒格尼家庭筛查工具(AFST)为核心案例,讨论算法如何在看似中立的技术框架下再生产制度性能力歧视(ableism,针对残障者的结构性偏见)。研究背景在于,美国儿童福利系统近年来不断引入风险评分模型,以提升转介筛查效率并标准化一线工作人员决策。然而,既有讨论多集中于种族偏倚与阶层偏倚,对残障父母和残障儿童所承受的不平等影响关注不足。与此同时,残障父母在儿童福利系统中长期面临更高的监视强度、更高的亲权终止风险以及基于能力假设而非虐待或忽视证据作出的不利判断,因此,一旦算法系统将贫困、公共福利依赖、医疗服务使用或刑事司法接触等变量视为“风险”信号,就可能把残障身份以代理变量的形式编码进模型。正因如此,研究人员开展本研究,检验AFST是否会对残障父母及其子女施加系统性不利影响,并进一步分析残障与种族/族裔少数身份交叉时是否会形成更强烈的不利后果。
从论文的问题意识看,研究的核心不是把AFST视为孤立的技术对象,而是将其置于儿童福利制度既有偏见、历史数据结构和国家治理技术扩张的背景中加以理解。文章指出,AFST虽被宣传为辅助人工判断、提升客观性,但其训练基础来源于既往转介、再转介及寄养安置等历史结果,而这些结果本身就深受种族主义、能力主义与阶级主义影响。因此,算法输出并不是对“真实风险”的纯粹测量,而是对既有制度判断的再编码。对于残障群体而言,这一点尤其重要,因为残障父母本就更可能因贫困、福利项目参与、频繁就医、与社会服务机构接触密切等因素而暴露于更高强度的制度审查中。文章因而提出,若不对残障偏倚进行专门评估,公共部门使用的算法工具可能在“公平”“效率”的名义下强化既有不公。
就研究方法而言,作者主要采用了算法审计(algorithm audit)思路与二次数据分析方法。研究人员从阿勒格尼县人类服务部获取AFST各版本使用的变量及系数,并结合3个具有全国代表性的调查数据库——美国社区调查(ACS)、医疗支出小组调查(MEPS)和全国药物使用与健康调查(NSDUH)——构建残障与非残障父母、儿童/青少年在各类AFST相关风险指标上的比较。样本来源包括宾夕法尼亚州居民、阿勒格尼县邮政编码贫困数据以及美国全国民间非机构化人口。研究使用复杂抽样权重、卡方检验和比例差异显著性估计,对贫困、教育程度、公共福利参与、医疗服务利用、精神健康与物质使用、刑事法律系统接触等指标进行分析,并检验残障与种族/族裔交叉身份的复合影响。
在结果部分,论文首先以“Poverty and program participation”为题,揭示AFST多个版本均通过不同方式把贫困及公共项目参与转化为风险惩罚。研究显示,按邮政编码计算的社区贫困率、父母教育程度不足、现金援助项目参与以及医疗补助(Medicaid)等收入审查型公共医疗保障参与,都会使家庭更可能在AFST中获得不利分值。由于补充保障收入(SSI)本身就是面向贫困残障者和老年人的福利项目,将其参与情况作为负向信号,事实上对残障父母和残障儿童具有特别不利影响。研究结果显示,在不同种族/族裔类别中,残障父母和儿童均比非残障对应群体更可能生活在贫困社区、缺乏高中学历、接受现金援助或依赖收入审查型医疗保障;而在残障群体内部,Black与Latine人群又显著高于white人群,显示出残障与种族/族裔少数身份的交叉累积效应。
在“Criminal legal system involvement”部分,研究人员分析了AFST对刑事法律系统接触经历的惩罚。当前版本不仅关注父母一生中的监禁时长,还对既往少年司法系统经历赋予额外惩罚,对青少年拘留等经历的惩罚幅度甚至可达总分20分中的2分。基于NSDUH数据,研究发现,残障父母与12–17岁的残障青少年进入刑事法律系统的可能性可达非残障对应群体的2倍左右;在种族/族裔交叉层面,Black残障父母与青少年在前一年卷入该系统的可能性约为white非残障同龄人的4倍。这说明AFST对刑事司法接触的使用,会把既有的制度性不平等进一步嵌入儿童福利筛查过程。
在“Healthcare utilization”部分,论文指出,现行AFST将父母前一年的身体健康相关住院/门诊利用天数及急诊就诊情况作为加分依据,这意味着医疗服务使用越多,风险分数可能越高。研究结果显示,残障父母因身体状况产生的医疗利用约为非残障父母的3至4倍,而由公共支付承担的医疗利用更达到5至7倍。作者特别强调,AFST数据库中的医疗利用信息主要来自公共支付项目,因此算法实际上形成“双重惩罚”:残障者既更依赖公共项目,又更频繁使用医疗服务,于是更容易被系统记录并纳入风险评分,而使用私人保险但医疗利用同样高的人则可能不受相同影响。对于精神卫生服务和物质使用治疗服务,研究亦发现残障父母和青少年的公共支付住院或门诊利用显著高于非残障群体,从而更容易在AFST中遭遇不利评分。
在“Mental health conditions and substance use”部分,作者进一步讨论精神健康状况和药物使用相关指标。AFST当前版本不仅对精神卫生服务利用赋分,还对抑郁、情绪障碍、精神分裂症、其他精神病性障碍,以及儿童注意缺陷多动障碍(ADHD)等诊断赋予惩罚性分值;对物质使用障碍诊断亦然。论文基于NSDUH数据显示,重性抑郁(major depression)在残障父母与残障青少年中的报告比例远高于非残障人群;止痛药误用在残障父母中为非残障父母的2倍以上,在残障青少年中则超过3倍;总体非法药物使用在残障父母和残障青少年中也均超过非残障对应群体的2倍。由此可见,即便算法未显式询问“是否残障”,其所纳入的一系列健康和行为变量依然足以在统计上系统性捕捉残障身份。
讨论部分的核心观点是:AFST虽然不含显性残障变量,但通过社会经济地位、身心健康需求、福利参与和法律系统接触等代理变量,实际对残障父母及其子女实施了结构性惩罚。文章强调,这种偏倚并非偶然副产品,而是结构性能力主义通过经济和制度代理变量进入算法系统后的具体体现。特别是把SSI、Medicaid、公共医疗服务利用等本应体现支持需要的变量转化为风险指标,本质上会把“需要帮助”解释为“具有风险”。作者据此指出,AFST不仅没有修正儿童福利系统针对残障父母的历史偏见,反而可能将这些偏见以更隐蔽、更难质疑的方式制度化。文章同时指出,算法偏倚并不只是技术设计问题,还与问题定义方式有关。AFST聚焦的是识别何时开启调查甚至移除儿童,而不是识别哪些家庭需要额外支持与服务,这种治理逻辑本身就会加剧对残障家庭的不利后果。
研究也明确交代了局限性。首先,虽然研究人员获得了AFST变量和权重,并比较了残障与非残障群体在各类指标上的差异,但由于数据来自多个不同调查,无法估计变量间相关性,也无法直接模拟残障与非残障个体在AFST中的平均分数差异。其次,研究分析对象是一般人口中的相关特征分布,而非实际被转介进入阿勒格尼县儿童福利筛查的人群,因此结果反映的是“更有可能因这些变量被赋分”,而不是对真实个案最终得分的直接测量。此外,作者无法纳入DHS内部数据中的其他信息,如转介来源、儿童人数、年龄和性别、既往儿童福利接触史等。不过,论文认为这些限制并不削弱其关于残障偏倚存在性的判断,反而意味着实际风险可能被低估。
研究结论部分可译为:算法偏倚部分源于在ADM工具开发、测试和采纳过程中发生的多重且相互重叠的选择。对AFST的分析表明,这些决策如何导致工具不利于残障人士,并加剧已嵌入社会系统中的能力主义。关于变量与数据来源的选择,例如纳入公共医疗支付者数据,会制造偏倚并加剧由算法系统设计与架构决策带来的不平等。关于AFST所使用变量以及其试图解决何种问题的定义所作出的决策,进一步放大了ADM工具使用方式所产生的偏倚,并经常强化既有权力结构。例如,AFST明确聚焦于识别处于风险中的儿童,以决定何时启动调查甚至实施移除,而非识别哪些父母会从额外服务和支持中受益,也非聚焦于促成忽视与虐待的更广泛社会条件。这种关于儿童福利服务应处理何种问题的意识形态选择,反映了社会定义和理解儿童虐待方式中的潜在偏见,而这种偏见会不成比例地伤害残障父母,并强化关于谁“适合”成为父母的能力主义观念。
总体而言,该研究的重要意义在于,它将残障偏倚明确纳入公共部门算法治理的评估框架,证明即便是结构相对简单、并非复杂人工智能(AI)的风险评分工具,也能够通过代理变量显著放大残障不平等。论文不仅为儿童福利系统中的算法应用提供了关键批判证据,也为更广泛的公共部门ADM工具监管提出了实证基础:算法评估不能仅关注预测准确性,更必须审查其是否把结构性不平等转化为技术性“风险”,并由此对弱势家庭造成新的制度伤害。