破碎的工具:文森特Southerland阐明了刑事法律系统在使用算法工具时存在的偏见问题

电脑屏幕上的人体示意图

临床法助理教授 文森特Southerland 他回忆说,在他的法律生涯早期,他是布朗克斯捍卫者的一名律师, 他经常处理风险评估工具——法院使用的基于算法的工具,以帮助确定他的客户是否应该在审前释放. 当评估是有利的, 南兰德利用他们为他的当事人辩护, 当他们不是, 他会提出评估计算的潜在问题. 法庭上还有其他因素在起作用, 他说, 他没有深入思考风险评估工具所扮演的更广泛的角色.

文森特Southerland
文森特Southerland

但是教英语的南兰德 刑事辩护和重返社会诊所, 此后是否认识到这些文书的使用本身对刑事司法产生了“巨大的影响”. 我也意识到,他说, “就是算法生态系统的触角伸向了刑事系统的所有其他阶段——从警务一直到量刑, 假释, 缓刑, 监督, 再入, 当你被监禁的时候,你是被分类的…. 这些工具在整个系统中无处不在, 我觉得他们只是跟着哼唱,对他们来说没有太多挑战.”

在他的文章中, “刑事法律体系中种族与算法工具的交集”, 去年秋天发表于 马里兰法律评论,对这些工具进行了仔细的研究,并提出了质疑它们的多种理由. 认为刑事司法系统受到种族主义和不平等的困扰, 他写道,“改变刑事法律体系, 倡导者需要采用以种族正义为中心的视角,为基于技术的努力提供信息,而不是简单地在当前状态下将工具分层.虽然算法工具通常被认为有助于消除决策中的偏见, 南兰德断言,他们受到了不可避免的系统性偏见的感染.

本文首先概述了整个刑事法律系统中的算法工具, 专注于预测工具. They are used by police to forecast where criminal activity is likely to occur; they are used by courts to determine risk of rearrest and failure to reappear when setting bail, 并作出判决.

瑟兰写道,这些证据让人对这种算法方法的有效性产生了怀疑. 2016年的一项研究, 人权数据分析小组(HRDAG)研究了预测性警务软件PredPol背后的算法. 输入奥克兰的犯罪数据, 加州, 预测潜在的毒品犯罪, HRDAG发现,该算法建议以“有色人种的低收入社区”为目标, 尽管同时来自公共卫生数据的证据表明,吸毒在整个城市的分布更为均匀.HRDAG认为,“当获知歧视性数据时。, 该算法将鼓励类似的歧视性警察行为.” 

Southerland指出,现有的学术研究表明,这些数据不仅仅是警察使用的——他们也创造了这些数据, 这意味着过去警察活动中反映的偏见嵌入了算法工具使用的统计数据中. “因此,Southerland写道。, “警察的决策在塑造十大网博平台-世界十大流行博客网站对犯罪和犯罪行为的看法方面发挥着巨大的作用.他认为,数据还包含其他缺陷. 例如, 逮捕统计数字并没有显示逮捕最终是如何解决的, 包括驳回指控:“从数据中反映和解读的是一个看起来比实际情况危险得多的社区,他写道。.

这种初始扭曲, 他认为, 是否可以自我延续:在一个特定的地区,基于以前的警务模式增加执法会导致更多的逮捕, 就像警察在场一样, 导致执法部门的打击力度更大.

基于算法的审前风险评估用于保释决策, 就像瑟兰在布朗克斯辩护律师时遇到的那些人一样, 因司法管辖区而异,由各种不同的实体创建. 许多人使用有关先前定罪和未决指控的数据. 用于计算风险评分的因素及其加权方式并不总是公开的, 大多数工具给出的单一分数包括再次被捕和未出庭的风险, 尽管这两种风险是截然不同的. 

南兰德还批评了用于量刑决定的算法工具. 的工具, 哪一个计算再犯风险, 通常利用四类风险因素:犯罪史, 反社会的态度, 人口统计资料, 社会经济地位. 这种“精算风险评估”是一种数字分析形式, 根据个人的相似度来规定治疗方法, 或者是, 一组,他指出. 他引用了最近的一项研究,该研究发现弗吉尼亚州使用非暴力风险评估工具并没有减少监禁, 累犯, or racial disparities; simultaneously, 它使年轻被告处于不利地位. 

在刑事法律体系中立即废除算法工具是不太可能的, Southerland承认, 但他看到了一个机会,可以利用它们来改善这个系统, 从种族公正的角度来看. 算法数据集可以进行调整,以考虑警务和其他领域的种族差异影响. 应用公共卫生分析, “热点”可以吸引支持和投资,而不是增加警力. Algorithmic tool vendors and users could be required to eliminate the discriminatory impact of their tools; algorithmic impact assessments, 以环境影响评估为模型, could also be required; and algorithmic tools could be used to detect bias in decision-making in those who run the system. 

南兰德强调,问题不在于工具本身, 而是它们的制作和使用方式, 这一点很重要. “这些工具向十大网博平台-世界十大流行博客网站反映了十大网博平台-世界十大流行博客网站生活的世界. 如果十大网博平台-世界十大流行博客网站诚实的话, 十大网博平台-世界十大流行博客网站在这种反思中看到的是一个充斥着种族主义和不公正的刑事法律制度,他写道。. 种族正义的视角有助于十大网博平台-世界十大流行博客网站理解这一点,并要求十大网博平台-世界十大流行博客网站根据所看到的情况调整自己的反应,以创造十大网博平台-世界十大流行博客网站想要居住的世界.”

发布于2022年3月14日
更新于2022年8月9日

顶部图片来源:Adobe Stock/Skórzewiak