不只是故障：直面科技中的种族、性别和能力偏见

当技术强化不平等时,这不仅仅是一个故障——它是一个信号,表明我们需要重新设计系统以创造更公平的世界。“故障”(glitch)这个词暗示着一个偶然的错误,就像识别它一样容易修补。但如果种族主义、性别歧视和残障歧视不仅仅是基本功能机器中的漏洞,而是被编码进系统本身的呢?继Safiya Umoja Noble、Cathy O’Neil和Ruha Benjamin等重量级人物之后,梅雷迪思·布鲁萨德在《不只是故障》中展示了技术中立性是一个神话,以及为什么算法需要被问责。布鲁萨德是一位数据科学家,也是人工智能领域少数黑人女性研究者之一,她巧妙地综合了计算机科学和社会学的概念,探索了一系列例子:从只训练识别浅色皮肤的面部识别技术,到鼓励歧视性贷款的抵押贷款审批算法,再到当医学诊断算法在不够多样化的数据上训练时产生的危险反馈循环。即使这些技术是出于善意设计的,布鲁萨德也展示了易犯错误的人类开发的程序可能导致毁灭性的后果。

梅雷迪思·布鲁萨德是纽约大学阿瑟·L·卡特新闻学院的副教授,纽约大学公共利益技术联盟的研究主任。她的研究专注于使用和关于人工智能的调查报道。1991年,布鲁萨德进入哈佛大学,最初学习计算机科学,是该专业仅有的六名本科女性之一,但后来离开了计算机科学,以英语学位毕业,同时修读了非裔美国人研究课程。她曾是《费城问询报》的专题编辑,也曾是AT&T贝尔实验室和麻省理工学院媒体实验室的软件开发人员。她的第一本书《人工非智能:计算机如何误解世界》(2018年由MIT出版社出版)考察了技术在解决社会问题方面的局限性,该书获得了技术史学会的Hacker奖和美国出版商协会2019年PROSE奖(计算与信息科学类最佳图书)。她的第二本书《不只是故障》于2023年3月出版。布鲁萨德在《大西洋月刊》《哈珀杂志》《Slate杂志》等众多媒体发表过专题和评论文章。她自称是AI伦理学者、数据记者和教育者,拥有广泛的技术背景。布鲁萨德称算法偏见为”我们时代的民权问题”,并出现在2020年纪录片《编码偏见》中。

“故障”这个词在技术语境中通常意味着一个小错误、一个异常、一个可以快速修复的问题。当你的应用程序崩溃或你的屏幕闪烁时,你会说”有个故障”。这个词暗示问题是暂时的、偶然的、表面的——底层系统是好的,只是某个地方出了点小问题。但布鲁萨德的论点是,当涉及到人工智能和算法系统中的种族、性别和能力偏见时,“故障”这个词严重低估了问题的性质和严重性。这些不是可以用补丁修复的随机错误;它们是系统性的、结构性的、往往是有意的设计选择的结果。它们不是”故障”,而是特征——这些技术系统的运作方式的核心。

布鲁萨德从她作为少数黑人女性AI研究者之一的独特位置出发讲述这个故事。在一个由白人男性主导的领域,她的存在本身就是一种干预。她不仅从外部批评AI,而且从内部——作为一个曾经在贝尔实验室和MIT媒体实验室工作过、拥有深厚技术专长的人。她知道代码是如何编写的,算法是如何训练的,系统是如何部署的。这种内部知识使她的批评更加尖锐和可信。她不能被驳回为不理解技术的外行;她完全理解技术,正是因此她才能如此有效地批判它。

书的核心论点是:技术中立性是一个神话。有一个普遍的信念,认为技术本身是中立的工具——它们可以用于好的或坏的目的,但技术本身没有价值或偏见。一个算法只是一系列指令,一个数据集只是一组数字,一个AI系统只是一个数学模型——它们怎么可能是种族主义或性别歧视的?但布鲁萨德展示了这种观点忽视了技术如何被创造、被谁创造、为谁创造以及在什么背景下创造。每个技术系统都体现了其创造者的假设、价值观和偏见。每个算法都反映了它被训练的数据,而这些数据又反映了收集它的社会的不平等和偏见。每个部署决策都涉及关于谁重要、谁的需求优先、谁可以被边缘化或牺牲的判断。

布鲁萨德通过一系列引人入胜且令人不安的案例研究来阐述这一论点。她从面部识别技术开始——这是一个已经被广泛报道但仍然经常被误解的领域。面部识别系统在识别白人男性面孔方面非常准确,但在识别女性、尤其是深色皮肤女性的面孔时却频繁出错。为什么?因为这些系统是在主要包含白人男性面孔的数据集上训练的。算法学会了”面孔”意味着什么基于它看到的例子,如果它看到的大多数是白人男性,它就会将其视为标准,将其他一切视为偏差。研究者Joy Buolamwini发现,一些商业面部识别系统在识别深色皮肤女性时的错误率高达34%,而识别白人男性时的错误率不到1%。

这不仅是一个技术问题;它有真实的后果。面部识别被用于执法、边境控制、就业筛选、金融服务等等。当这些系统更容易错误识别黑人女性时,这意味着这些女性更容易被错误逮捕、被拒绝服务、被错误标记为可疑。在美国,已经有多起案例,黑人男性因面部识别系统的错误匹配而被错误逮捕。这些错误不是”故障”;它们是一个被设计为在白人男性身上最好地工作的系统的可预见结果,被部署在一个种族化的执法环境中。

布鲁萨德还探讨了抵押贷款审批算法,这揭示了算法歧视的更隐蔽形式。表面上,使用算法来决定谁获得贷款似乎是一个消除人类偏见的好方法——算法不会像人类贷款官那样受到种族主义假设的影响,对吧?但事实证明,算法可以并且确实延续和放大了系统性种族主义。研究表明,即使控制了收入、信用评分和其他”合法”因素,黑人和拉丁裔申请者被拒绝抵押贷款的可能性仍然更高,或者被收取更高的利率。为什么?因为算法是在历史数据上训练的,而这些数据反映了几十年的歧视性贷款做法。如果银行历史上拒绝了来自某些邮政编码的申请者(这些邮政编码恰好是黑人为主的),算法就会学会邮政编码是贷款违约的预测因素,从而延续同样的歧视模式。

更阴险的是,算法可以找到代理变量——与种族或性别相关但表面上”中立”的变量——来实现歧视性结果,而不明显违反反歧视法。例如,一个算法可能会考虑你在社交媒体上的朋友网络、你使用的语言、你访问的网站——所有这些都与种族和阶级高度相关,但没有一个是明确的”种族”。结果是一个看起来客观和数据驱动的系统,实际上在强化和自动化种族主义和性别歧视。

在医疗保健领域,布鲁萨德记录了当医学诊断算法在不够多样化的数据上训练时产生的危险反馈循环。许多医学AI系统是在主要包含白人男性患者的数据上开发的,因为历史上临床试验主要招募白人男性参与者。结果是算法在诊断白人男性的疾病方面表现良好,但在诊断女性、有色人种或残障人士时却不那么准确。例如,心脏病在女性中的表现往往与男性不同,但如果算法主要在男性数据上训练,它可能会错过女性的心脏病症状。皮肤癌检测算法在浅色皮肤上训练,可能无法识别深色皮肤上的癌症迹象。

更糟糕的是,这创造了一个自我强化的循环。如果算法在诊断某些群体时表现不佳,这些群体可能会对使用这些技术失去信心,从而更少参与未来的研究或使用这些服务。这反过来意味着收集的关于这些群体的数据更少,使得算法在未来更难改进。同时,如果算法对某些群体进行了错误诊断,医生可能会开始质疑来自这些群体的患者的症状,假设”技术说没问题,所以问题一定在病人那里”。这延续了医疗系统中已经存在的种族主义和性别歧视模式,女性和有色人种的疼痛和症状长期以来一直被最小化或驳回。

布鲁萨德还探讨了自动化招聘系统,该系统使用算法筛选简历和评估求职者。Amazon曾经开发了一个AI招聘工具,但不得不放弃它,因为它系统性地歧视女性申请者。为什么?因为它是在公司过去十年的招聘数据上训练的,而在那段时间里,公司主要雇佣了男性(尤其是在技术职位上)。算法学会了”好候选人”看起来像什么基于过去的招聘决定,因为过去的决定是性别歧视的,算法也变成了性别歧视的。它惩罚简历中包含”女性”一词的简历(例如”女性国际象棋俱乐部队长”),并降低了从女子学院毕业的候选人的排名。

这个例子揭示了一个关键点:算法不能修复有偏见的数据。如果你在反映性别歧视招聘实践的数据上训练一个算法,你会得到一个性别歧视的算法。简单地添加更多数据或”去偏见”算法是不够的,如果底层问题——公司的性别歧视文化和实践——没有得到解决。技术不能解决社会问题;它只能反映和往往放大它们。

布鲁萨德特别关注交叉性——种族、性别、阶级、能力和其他身份轴如何相互作用,创造出独特的压迫和边缘化形式。她指出,当我们谈论算法偏见时,我们不能简单地考虑”种族偏见”或”性别偏见”,好像这些是分离的问题。黑人女性不仅仅经历种族歧视加性别歧视;她们经历一种特定的歧视形式,这种歧视是两者的产物,不能简化为任何一个。同样,残障有色人种女性,酷儿跨性别人士,老年移民——所有这些人都处于多重边缘化的交叉点,而算法系统往往在这些交叉点上最失败。

这部分是因为交叉主体通常在训练数据中代表性最不足。如果你的数据集已经缺乏女性,它可能缺乏更多的黑人女性,更更少的黑人残障女性。如果你试图”去偏见”你的算法通过确保性别平衡,但你只考虑白人女性,你没有解决种族偏见。如果你试图解决种族偏见通过包括更多黑人参与者,但他们都是男性,你没有解决性别偏见。真正的包容性和公平性需要注意交叉性——认识到人们拥有多重、相互作用的身份,这些身份塑造了他们与技术系统的互动方式以及这些系统对他们的影响。

布鲁萨德还批判了”技术解决主义”——认为每个问题都有技术解决方案的信念。在硅谷和技术行业,有一种倾向于将社会问题框架为可以通过更好的软件、更智能的算法、更多的数据来解决的技术问题。贫困?有个应用可以解决。歧视?训练一个算法。不平等?优化系统。但布鲁萨德认为,这种方法从根本上误解了社会问题的本质。种族主义、性别歧视、残障歧视不是可以通过技术修复的”故障”;它们是深深植根于历史、文化、经济和政治结构中的系统性压迫形式。

更糟糕的是,技术解决主义往往转移了对真正解决方案的注意力。如果我们把所有精力都集中在”去偏见”算法上,我们可能会忽视需要解决产生偏见数据的结构性不平等。如果我们专注于让AI更”公平”,我们可能会忽视质疑我们是否首先应该在某些高风险领域使用AI。如果我们试图技术性地解决歧视,我们可能会避免进行必要的政治和社会变革,以实现真正的正义。

那么,布鲁萨德提出的解决方案是什么?她的论点不是让无处不在的技术更包容,而是根除那些首先将某些人群视为”他者”的算法。这是一个根本性的主张:不是”让我们修复有偏见的AI”,而是”让我们质疑我们是否应该首先部署这些AI系统”。她呼吁对技术进行更严格的监管和问责。算法不应该被视为”黑箱”,其运作方式对审查不透明。应该有要求透明度的法律:公司应该披露他们的算法如何工作,它们在什么数据上训练,它们如何做出决定。应该有影响评估:在部署算法之前,应该进行严格的测试以识别潜在的偏见和危害,尤其是对边缘化社区。应该有问责机制:当算法造成伤害时,应该有明确的追索权,公司和开发者应该承担责任。

布鲁萨德还呼吁技术行业的多样性——不仅是象征性的代表,而是真正的权力和决策权。如果AI系统只由白人男性设计,它们将继续反映白人男性的假设和优先事项。我们需要更多来自不同种族、性别、能力、阶级背景的人参与技术开发的所有阶段——从研究到设计到部署到评估。而且我们需要这些多样化的声音不仅仅被”包括”,而且被赋予实际的权力来塑造决策。这意味着改变技术教育,使其更欢迎和支持来自代表性不足群体的学生。这意味着改变招聘和晋升实践,解决技术行业中猖獗的歧视和骚扰。这意味着重视不同类型的专业知识,认识到对不平等和边缘化的生活经验是设计公平技术的关键资产。

但布鲁萨德也承认,多样性本身不是灵丹妙药。有可能拥有一个多样化的团队,但仍然生产有偏见的技术,如果结构性约束和激励措施保持不变。如果优先事项仍然是利润最大化,如果指标仍然是参与度和增长,如果文化仍然是”快速行动,打破常规”,那么即使团队更多样化,结果也可能仍然是有害的。真正的变革需要不仅改变谁在房间里,还要改变房间的规则——改变权力结构、决策过程、价值观和目标。

布鲁萨德还强调社区参与和自主权的重要性。受技术系统影响最大的社区应该在这些系统的设计和部署中有发言权。这意味着在技术开发过程的早期就与社区协商,而不仅仅是在系统已经建成后征求反馈。这意味着尊重社区的关切和优先事项,即使它们与技术公司的商业利益相冲突。这意味着社区应该有权拒绝不想要的技术,选择退出可能对他们造成伤害的系统。

书中最有力的时刻之一是布鲁萨德讨论面部识别在执法中的使用。许多民权组织呼吁暂停或完全禁止执法使用面部识别技术,因为其准确率低、种族偏见以及被用于监视和针对有色人种社区的潜力。布鲁萨德支持这些呼吁,认为没有办法让这项技术”足够好”或”足够公平”来证明其在这个背景下使用的合理性。即使我们可以将面部识别的准确率提高到99%,仍然会有错误——而这些错误会不成比例地影响已经被警方不公平针对的社区。而且技术的存在本身改变了权力动态,创造了大规模监视和控制的可能性,这与自由社会不相容。

这个例子说明了布鲁萨德更广泛的论点:有时,解决方案不是”修复”技术,而是不部署它。不是每个问题都需要技术解决方案,不是每个技术解决方案都应该被实施,即使它在技术上是可行的。我们需要对技术的使用进行更深思熟虑的伦理判断,认识到有些应用——无论多么”改进”或”去偏见”——从根本上都是不可接受的,因为它们造成的伤害。

布鲁萨德的写作风格使复杂的技术概念对非专业读者可及,同时保持了严谨性和深度。她使用清晰的例子和类比来解释算法如何工作,为什么它们可能有偏见,以及这些偏见如何显现。她还编织了个人叙事——她自己作为黑人女性在技术领域的经历,她遇到偏见和歧视的时刻,她如何学会批判性地审视她曾经热爱的领域。这些个人接触使书籍不仅在智力上引人入胜,在情感上也引人入胜。

这本书与Safiya Umoja Noble的《压迫的算法》、Cathy O’Neil的《数学毁灭武器》和Ruha Benjamin的《新吉姆克罗法则》等作品展开对话,所有这些都批判性地审视了技术中的偏见和歧视。但布鲁萨德的独特贡献在于她对交叉性的强调——不仅考虑种族或性别,还考虑能力、阶级以及这些类别如何相互作用。她还特别关注”故障”框架本身,挑战我们将技术伤害视为可修复的错误而非系统性设计选择的倾向。

对中国读者来说,这本书有深刻的相关性。虽然书中的许多例子来自美国背景,但它提出的问题是全球性的。中国也在迅速部署AI和算法系统——从面部识别到社会信用评分到自动化决策。这些系统体现了什么假设和价值观?它们对不同群体的影响是什么?谁在设计它们,谁在受其影响?布鲁萨德的分析框架——认识到技术不是中立的,算法反映和放大社会不平等,我们需要批判性地审视技术的部署——同样适用于中国背景。

同时,这本书提醒我们,技术正义是全球正义的一部分。许多在西方设计的AI系统被全球部署,将美国或欧洲的偏见和假设出口到世界其他地方。面部识别系统在非洲国家部署,训练主要在白人面孔上;贷款算法在全球南方使用,基于全球北方的经济假设。这些技术殖民主义形式是技术偏见的全球维度,需要全球合作来解决。

《不只是故障》最终是一个关于权力和正义的书。它要求我们认识到技术不仅仅是关于效率或创新,而是关于谁拥有权力,谁受益,谁受害。它挑战我们超越”修复故障”的思维,去质疑系统本身——它们的目的,它们的假设,它们的影响。它呼吁我们将技术正义视为社会正义不可分割的一部分,认识到在一个日益由算法塑造的世界中,与算法偏见的斗争是与种族主义、性别歧视和所有形式压迫的更广泛斗争的一部分。

梅雷迪思·布鲁萨德以她作为数据科学家的技术专长和作为黑人女性的生活经验,写下了一本既严格又可及、既批判又有建设性的书。《不只是故障》是任何关心技术未来、社会正义或只是想理解我们生活的算法世界的人的必读之作。它是对技术行业的挑战,要求做得更好;对政策制定者的呼吁,要求监管和问责;对所有人的提醒,技术不是命运,我们可以并且必须塑造它以服务于正义和公平,而不是延续不平等。在一个技术常常被呈现为进步和解放的不可避免力量的时代,布鲁萨德提醒我们,真正的进步需要我们批判性地审视技术,挑战其偏见和危害,并为一个技术真正为所有人服务的世界而奋斗。