不只是故障：直面科技中的種族、性別和能力偏見

當技術強化不平等時,這不僅僅是一個故障——它是一個信號,表明我們需要重新設計系統以創造更公平的世界。“故障”(glitch)這個詞暗示著一個偶然的錯誤,就像識別它一樣容易修補。但如果種族主義、性別歧視和殘障歧視不僅僅是基本功能機器中的漏洞,而是被編碼進系統本身的呢?繼Safiya Umoja Noble、Cathy O’Neil和Ruha Benjamin等重量級人物之後,梅雷迪思·布魯薩德在《不只是故障》中展示了技術中立性是一個神話,以及為什麼算法需要被問責。布魯薩德是一位數據科學家,也是人工智能領域少數黑人女性研究者之一,她巧妙地綜合了計算機科學和社會學的概念,探索了一系列例子:從只訓練識別淺色皮膚的面部識別技術,到鼓勵歧視性貸款的抵押貸款審批算法,再到當醫學診斷算法在不夠多樣化的數據上訓練時產生的危險反饋循環。即使這些技術是出於善意設計的,布魯薩德也展示了易犯錯誤的人類開發的程序可能導致毀滅性的後果。

梅雷迪思·布魯薩德是紐約大學阿瑟·L·卡特新聞學院的副教授,紐約大學公共利益技術聯盟的研究主任。她的研究專注於使用和關於人工智能的調查報道。1991年,布魯薩德進入哈佛大學,最初學習計算機科學,是該專業僅有的六名本科女性之一,但後來離開了計算機科學,以英語學位畢業,同時修讀了非裔美國人研究課程。她曾是《費城問詢報》的專題編輯,也曾是AT&T貝爾實驗室和麻省理工學院媒體實驗室的軟件開發人員。她的第一本書《人工非智能:計算機如何誤解世界》(2018年由MIT出版社出版)考察了技術在解決社會問題方面的侷限性,該書獲得了技術史學會的Hacker獎和美國出版商協會2019年PROSE獎(計算與信息科學類最佳圖書)。她的第二本書《不只是故障》於2023年3月出版。布魯薩德在《大西洋月刊》《哈珀雜誌》《Slate雜誌》等眾多媒體發表過專題和評論文章。她自稱是AI倫理學者、數據記者和教育者,擁有廣泛的技術背景。布魯薩德稱算法偏見為“我們時代的民權問題”,並出現在2020年紀錄片《編碼偏見》中。

“故障”這個詞在技術語境中通常意味著一個小錯誤、一個異常、一個可以快速修復的問題。當你的應用程序崩潰或你的屏幕閃爍時,你會說“有個故障”。這個詞暗示問題是暫時的、偶然的、表面的——底層系統是好的,只是某個地方出了點小問題。但布魯薩德的論點是,當涉及到人工智能和算法系統中的種族、性別和能力偏見時,“故障”這個詞嚴重低估了問題的性質和嚴重性。這些不是可以用補丁修復的隨機錯誤;它們是系統性的、結構性的、往往是有意的設計選擇的結果。它們不是“故障”,而是特徵——這些技術系統的運作方式的核心。

布魯薩德從她作為少數黑人女性AI研究者之一的獨特位置出發講述這個故事。在一個由白人男性主導的領域,她的存在本身就是一種干預。她不僅從外部批評AI,而且從內部——作為一個曾經在貝爾實驗室和MIT媒體實驗室工作過、擁有深厚技術專長的人。她知道代碼是如何編寫的,算法是如何訓練的,系統是如何部署的。這種內部知識使她的批評更加尖銳和可信。她不能被駁回為不理解技術的外行;她完全理解技術,正是因此她才能如此有效地批判它。

書的核心論點是:技術中立性是一個神話。有一個普遍的信念,認為技術本身是中立的工具——它們可以用於好的或壞的目的,但技術本身沒有價值或偏見。一個算法只是一系列指令,一個數據集只是一組數字,一個AI系統只是一個數學模型——它們怎麼可能是種族主義或性別歧視的?但布魯薩德展示了這種觀點忽視了技術如何被創造、被誰創造、為誰創造以及在什麼背景下創造。每個技術系統都體現了其創造者的假設、價值觀和偏見。每個算法都反映了它被訓練的數據,而這些數據又反映了收集它的社會的不平等和偏見。每個部署決策都涉及關於誰重要、誰的需求優先、誰可以被邊緣化或犧牲的判斷。

布魯薩德通過一系列引人入勝且令人不安的案例研究來闡述這一論點。她從面部識別技術開始——這是一個已經被廣泛報道但仍然經常被誤解的領域。面部識別系統在識別白人男性面孔方面非常準確,但在識別女性、尤其是深色皮膚女性的面孔時卻頻繁出錯。為什麼?因為這些系統是在主要包含白人男性面孔的數據集上訓練的。算法學會了“面孔”意味著什麼基於它看到的例子,如果它看到的大多數是白人男性,它就會將其視為標準,將其他一切視為偏差。研究者Joy Buolamwini發現,一些商業面部識別系統在識別深色皮膚女性時的錯誤率高達34%,而識別白人男性時的錯誤率不到1%。

這不僅是一個技術問題;它有真實的後果。面部識別被用於執法、邊境控制、就業篩選、金融服務等等。當這些系統更容易錯誤識別黑人女性時,這意味著這些女性更容易被錯誤逮捕、被拒絕服務、被錯誤標記為可疑。在美國,已經有多起案例,黑人男性因面部識別系統的錯誤匹配而被錯誤逮捕。這些錯誤不是“故障”;它們是一個被設計為在白人男性身上最好地工作的系統的可預見結果,被部署在一個種族化的執法環境中。

布魯薩德還探討了抵押貸款審批算法,這揭示了算法歧視的更隱蔽形式。表面上,使用算法來決定誰獲得貸款似乎是一個消除人類偏見的好方法——算法不會像人類貸款官那樣受到種族主義假設的影響,對吧?但事實證明,算法可以並且確實延續和放大了系統性種族主義。研究表明,即使控制了收入、信用評分和其他“合法”因素,黑人和拉丁裔申請者被拒絕抵押貸款的可能性仍然更高,或者被收取更高的利率。為什麼?因為算法是在歷史數據上訓練的,而這些數據反映了幾十年的歧視性貸款做法。如果銀行歷史上拒絕了來自某些郵政編碼的申請者(這些郵政編碼恰好是黑人為主的),算法就會學會郵政編碼是貸款違約的預測因素,從而延續同樣的歧視模式。

更陰險的是,算法可以找到代理變量——與種族或性別相關但表面上“中立”的變量——來實現歧視性結果,而不明顯違反反歧視法。例如,一個算法可能會考慮你在社交媒體上的朋友網絡、你使用的語言、你訪問的網站——所有這些都與種族和階級高度相關,但沒有一個是明確的“種族”。結果是一個看起來客觀和數據驅動的系統,實際上在強化和自動化種族主義和性別歧視。

在醫療保健領域,布魯薩德記錄了當醫學診斷算法在不夠多樣化的數據上訓練時產生的危險反饋循環。許多醫學AI系統是在主要包含白人男性患者的數據上開發的,因為歷史上臨床試驗主要招募白人男性參與者。結果是算法在診斷白人男性的疾病方面表現良好,但在診斷女性、有色人種或殘障人士時卻不那麼準確。例如,心臟病在女性中的表現往往與男性不同,但如果算法主要在男性數據上訓練,它可能會錯過女性的心臟病症狀。皮膚癌檢測算法在淺色皮膚上訓練,可能無法識別深色皮膚上的癌症跡象。

更糟糕的是,這創造了一個自我強化的循環。如果算法在診斷某些群體時表現不佳,這些群體可能會對使用這些技術失去信心,從而更少參與未來的研究或使用這些服務。這反過來意味著收集的關於這些群體的數據更少,使得算法在未來更難改進。同時,如果算法對某些群體進行了錯誤診斷,醫生可能會開始質疑來自這些群體的患者的症狀,假設“技術說沒問題,所以問題一定在病人那裡”。這延續了醫療系統中已經存在的種族主義和性別歧視模式,女性和有色人種的疼痛和症狀長期以來一直被最小化或駁回。

布魯薩德還探討了自動化招聘系統,該系統使用算法篩選簡歷和評估求職者。Amazon曾經開發了一個AI招聘工具,但不得不放棄它,因為它系統性地歧視女性申請者。為什麼?因為它是在公司過去十年的招聘數據上訓練的,而在那段時間裡,公司主要僱傭了男性(尤其是在技術職位上)。算法學會了“好候選人”看起來像什麼基於過去的招聘決定,因為過去的決定是性別歧視的,算法也變成了性別歧視的。它懲罰簡歷中包含“女性”一詞的簡歷(例如“女性國際象棋俱樂部隊長”),並降低了從女子學院畢業的候選人的排名。

這個例子揭示了一個關鍵點:算法不能修復有偏見的數據。如果你在反映性別歧視招聘實踐的數據上訓練一個算法,你會得到一個性別歧視的算法。簡單地添加更多數據或“去偏見”算法是不夠的,如果底層問題——公司的性別歧視文化和實踐——沒有得到解決。技術不能解決社會問題;它只能反映和往往放大它們。

布魯薩德特別關注交叉性——種族、性別、階級、能力和其他身份軸如何相互作用,創造出獨特的壓迫和邊緣化形式。她指出,當我們談論算法偏見時,我們不能簡單地考慮“種族偏見”或“性別偏見”,好像這些是分離的問題。黑人女性不僅僅經歷種族歧視加性別歧視;她們經歷一種特定的歧視形式,這種歧視是兩者的產物,不能簡化為任何一個。同樣,殘障有色人種女性,酷兒跨性別人士,老年移民——所有這些人都處於多重邊緣化的交叉點,而算法系統往往在這些交叉點上最失敗。

這部分是因為交叉主體通常在訓練數據中代表性最不足。如果你的數據集已經缺乏女性,它可能缺乏更多的黑人女性,更更少的黑人殘障女性。如果你試圖“去偏見”你的算法通過確保性別平衡,但你只考慮白人女性,你沒有解決種族偏見。如果你試圖解決種族偏見通過包括更多黑人參與者,但他們都是男性,你沒有解決性別偏見。真正的包容性和公平性需要注意交叉性——認識到人們擁有多重、相互作用的身份,這些身份塑造了他們與技術系統的互動方式以及這些系統對他們的影響。

布魯薩德還批判了“技術解決主義”——認為每個問題都有技術解決方案的信念。在硅谷和技術行業,有一種傾向於將社會問題框架為可以通過更好的軟件、更智能的算法、更多的數據來解決的技術問題。貧困?有個應用可以解決。歧視?訓練一個算法。不平等?優化系統。但布魯薩德認為,這種方法從根本上誤解了社會問題的本質。種族主義、性別歧視、殘障歧視不是可以通過技術修復的“故障”;它們是深深植根於歷史、文化、經濟和政治結構中的系統性壓迫形式。

更糟糕的是,技術解決主義往往轉移了對真正解決方案的注意力。如果我們把所有精力都集中在“去偏見”算法上,我們可能會忽視需要解決產生偏見數據的結構性不平等。如果我們專注於讓AI更“公平”,我們可能會忽視質疑我們是否首先應該在某些高風險領域使用AI。如果我們試圖技術性地解決歧視,我們可能會避免進行必要的政治和社會變革,以實現真正的正義。

那麼,布魯薩德提出的解決方案是什麼?她的論點不是讓無處不在的技術更包容,而是根除那些首先將某些人群視為“他者”的算法。這是一個根本性的主張:不是“讓我們修復有偏見的AI”,而是“讓我們質疑我們是否應該首先部署這些AI系統”。她呼籲對技術進行更嚴格的監管和問責。算法不應該被視為“黑箱”,其運作方式對審查不透明。應該有要求透明度的法律:公司應該披露他們的算法如何工作,它們在什麼數據上訓練,它們如何做出決定。應該有影響評估:在部署算法之前,應該進行嚴格的測試以識別潛在的偏見和危害,尤其是對邊緣化社區。應該有問責機制:當算法造成傷害時,應該有明確的追索權,公司和開發者應該承擔責任。

布魯薩德還呼籲技術行業的多樣性——不僅是象徵性的代表,而是真正的權力和決策權。如果AI系統只由白人男性設計,它們將繼續反映白人男性的假設和優先事項。我們需要更多來自不同種族、性別、能力、階級背景的人參與技術開發的所有階段——從研究到設計到部署到評估。而且我們需要這些多樣化的聲音不僅僅被“包括”,而且被賦予實際的權力來塑造決策。這意味著改變技術教育,使其更歡迎和支持來自代表性不足群體的學生。這意味著改變招聘和晉升實踐,解決技術行業中猖獗的歧視和騷擾。這意味著重視不同類型的專業知識,認識到對不平等和邊緣化的生活經驗是設計公平技術的關鍵資產。

但布魯薩德也承認,多樣性本身不是靈丹妙藥。有可能擁有一個多樣化的團隊,但仍然生產有偏見的技術,如果結構性約束和激勵措施保持不變。如果優先事項仍然是利潤最大化,如果指標仍然是參與度和增長,如果文化仍然是“快速行動,打破常規”,那麼即使團隊更多樣化,結果也可能仍然是有害的。真正的變革需要不僅改變誰在房間裡,還要改變房間的規則——改變權力結構、決策過程、價值觀和目標。

布魯薩德還強調社區參與和自主權的重要性。受技術系統影響最大的社區應該在這些系統的設計和部署中有發言權。這意味著在技術開發過程的早期就與社區協商,而不僅僅是在系統已經建成後徵求反饋。這意味著尊重社區的關切和優先事項,即使它們與技術公司的商業利益相沖突。這意味著社區應該有權拒絕不想要的技術,選擇退出可能對他們造成傷害的系統。

書中最有力的時刻之一是布魯薩德討論面部識別在執法中的使用。許多民權組織呼籲暫停或完全禁止執法使用面部識別技術,因為其準確率低、種族偏見以及被用於監視和針對有色人種社區的潛力。布魯薩德支持這些呼籲,認為沒有辦法讓這項技術“足夠好”或“足夠公平”來證明其在這個背景下使用的合理性。即使我們可以將面部識別的準確率提高到99%,仍然會有錯誤——而這些錯誤會不成比例地影響已經被警方不公平針對的社區。而且技術的存在本身改變了權力動態,創造了大規模監視和控制的可能性,這與自由社會不相容。

這個例子說明了布魯薩德更廣泛的論點:有時,解決方案不是“修復”技術,而是不部署它。不是每個問題都需要技術解決方案,不是每個技術解決方案都應該被實施,即使它在技術上是可行的。我們需要對技術的使用進行更深思熟慮的倫理判斷,認識到有些應用——無論多麼“改進”或“去偏見”——從根本上都是不可接受的,因為它們造成的傷害。

布魯薩德的寫作風格使複雜的技術概念對非專業讀者可及,同時保持了嚴謹性和深度。她使用清晰的例子和類比來解釋算法如何工作,為什麼它們可能有偏見,以及這些偏見如何顯現。她還編織了個人敘事——她自己作為黑人女性在技術領域的經歷,她遇到偏見和歧視的時刻,她如何學會批判性地審視她曾經熱愛的領域。這些個人接觸使書籍不僅在智力上引人入勝,在情感上也引人入勝。

這本書與Safiya Umoja Noble的《壓迫的算法》、Cathy O’Neil的《數學毀滅武器》和Ruha Benjamin的《新吉姆克羅法則》等作品展開對話,所有這些都批判性地審視了技術中的偏見和歧視。但布魯薩德的獨特貢獻在於她對交叉性的強調——不僅考慮種族或性別,還考慮能力、階級以及這些類別如何相互作用。她還特別關注“故障”框架本身,挑戰我們將技術傷害視為可修復的錯誤而非系統性設計選擇的傾向。

對中國讀者來說,這本書有深刻的相關性。雖然書中的許多例子來自美國背景,但它提出的問題是全球性的。中國也在迅速部署AI和算法系統——從面部識別到社會信用評分到自動化決策。這些系統體現了什麼假設和價值觀?它們對不同群體的影響是什麼?誰在設計它們,誰在受其影響?布魯薩德的分析框架——認識到技術不是中立的,算法反映和放大社會不平等,我們需要批判性地審視技術的部署——同樣適用於中國背景。

同時,這本書提醒我們,技術正義是全球正義的一部分。許多在西方設計的AI系統被全球部署,將美國或歐洲的偏見和假設出口到世界其他地方。面部識別系統在非洲國家部署,訓練主要在白人面孔上;貸款算法在全球南方使用,基於全球北方的經濟假設。這些技術殖民主義形式是技術偏見的全球維度,需要全球合作來解決。

《不只是故障》最終是一個關於權力和正義的書。它要求我們認識到技術不僅僅是關於效率或創新,而是關於誰擁有權力,誰受益,誰受害。它挑戰我們超越“修復故障”的思維,去質疑係統本身——它們的目的,它們的假設,它們的影響。它呼籲我們將技術正義視為社會正義不可分割的一部分,認識到在一個日益由算法塑造的世界中,與算法偏見的鬥爭是與種族主義、性別歧視和所有形式壓迫的更廣泛鬥爭的一部分。

梅雷迪思·布魯薩德以她作為數據科學家的技術專長和作為黑人女性的生活經驗,寫下了一本既嚴格又可及、既批判又有建設性的書。《不只是故障》是任何關心技術未來、社會正義或只是想理解我們生活的算法世界的人的必讀之作。它是對技術行業的挑戰,要求做得更好;對政策制定者的呼籲,要求監管和問責;對所有人的提醒,技術不是命運,我們可以並且必須塑造它以服務於正義和公平,而不是延續不平等。在一個技術常常被呈現為進步和解放的不可避免力量的時代,布魯薩德提醒我們,真正的進步需要我們批判性地審視技術,挑戰其偏見和危害,併為一個技術真正為所有人服務的世界而奮鬥。