単なる不具合ではない：テクノロジーにおける人種、ジェンダー、能力の偏向への対峙

テクノロジーが不平等を強化するとき、それは単なる「不具合（グリッチ）」ではありません。それは、私たちがより公平な世界を創るためにシステムを再設計する必要があるというシグナルなのです。「グリッチ」という言葉は、特定するのも対処するのも簡単な、付随的なエラーであることを示唆します。しかし、もし人種差別、性差別、そして能力主義（エイブリズム）が、大部分は正常に機能している機械の中の単なるバグではなく、システムそのものに組み込まれていたとしたらどうでしょうか。サフィヤ・ウモジャ・ノーブル、キャシー・オニール、ルハ・ベンジャミンといった先駆者たちの系譜に連なるメレディス・ブルサードは、その著書『単なる不具合ではない』において、テクノロジーにおける中立性がいかに神話であり、なぜアルゴリズムに説明責任を持たせる必要があるのかを実証しています。データサイエンティストであり、人工知能（AI）分野における数少ない黒人女性研究者の一人であるブルサードは、コンピュータ科学と社会学の概念を見事に融合させました。彼女は、肌の色の薄い顔だけを認識するように訓練された顔認識技術から、差別的な貸付を助長する住宅ローン承認アルゴリズム、そして不十分で偏ったデータで訓練された医療診断アルゴリズムによる危険なフィードバックループまで、多様な事例を検証しています。たとえ善意で設計されたテクノロジーであっても、間違いを犯しうる人間がプログラムを開発することで、壊滅的な結果を招く可能性があることを彼女は示しています。

メレディス・ブルサードは、ニューヨーク大学アーサー・L・カーター・ジャーナリズム研究所の准教授であり、NYUパブリック・インタレスト・テクノロジー連合の研究ディレクターを務めています。彼女の研究は、人工知能を用いた、あるいは人工知能に関する調査報道に焦点を当てています。ブルサードは1991年にハーバード大学に入学し、当時はわずか6名しかいなかった女子学生の一人としてコンピュータ科学を専攻し始めましたが、途中で英文学へと転向し、アフリカ系アメリカ人研究の講義も受けながら卒業しました。その後、『フィラデルフィア・インクワイアラー』の特集編集者や、AT&Tベル研究所、MITメディアラボのソフトウェア開発者として活躍。2018年にMITプレスから出版された最初の著書『人工非知：コンピュータはいかに世界を誤解するか』は、社会問題の解決におけるテクノロジーの限界を検証したもので、複数の賞を受賞しました。2023年3月に出版された本作『単なる不具合ではない』は、彼女の第2作となります。ブルサードは『アトランティック』『ハーパーズ・マガジン』『スレート』など数多くのメディアで執筆しており、自らを広範な技術的背景を持つAI倫理学者、データジャーナリスト、そして教育者と定義しています。彼女はアルゴリズムの偏向を「現代における公民権問題」と呼び、2020年のドキュメンタリー映画『コード化された偏見（Coded Bias）』にも出演しています。

テクノロジーの文脈において「グリッチ（不具合）」という言葉は通常、小さなエラー、変則的な事態、すぐに修正可能な問題を意味します。アプリがクラッシュしたり画面がちらついたりすると、私たちは「不具合がある」と言います。この言葉は、問題が一時的で、付随的で、表面的なものであり、基礎となるシステムそのものは良好だが、どこかで何かが少しうまくいかなかっただけであるという印象を与えます。しかし、ブルサードの主張は、AIやアルゴリズム・システムにおける人種、ジェンダー、能力の偏向に関しては、「グリッチ」という言葉は問題の性質と深刻さを著しく過小評価しているというものです。これらはパッチで修正できるようなランダムなエラーではなく、体系的で構造的、そしてしばしば意図的な設計上の選択の結果なのです。それらは「不具合」ではなく、これらのテクノロジー・システムが作動する方法の核心をなす「機能（フィーチャー）」なのです。

ブルサードは、数少ない黒人女性AI研究者というユニークな立場からこの物語を語ります。白人男性が支配する分野において、彼女の存在そのものが一つの介入となります。彼女は外部から批判するだけでなく、ベル研究所やMITメディアラボで働いた経験を持つ内部の人間として、深い技術的専門知識を持ってAIを批評します。コードがどう書かれ、アルゴリズムがいかに訓練され、システムがいかに展開されるかを彼女は熟知しています。この内部者としての知識が、彼女の批評をより鋭く、より信頼できるものにしています。彼女をテクノロジーを理解していない素人として退けることはできません。彼女はテクノロジーを完全に理解しており、まさにそのゆえに、これほど効果的に批判することができるのです。

本書の核心的な主張は「テクノロジーの中立性は神話である」ということです。テクノロジー自体は中立的な道具であり、良い目的にも悪い目的にも使われ得わ、テクノロジーそのものに価値観や偏向はないという広範な信念があります。アルゴリズムは単なる指示の羅列であり、データセットは数字の集合、AIシステムは数学的モデルに過ぎない。だとすれば、どうしてそれらが人種差別的だったり性差別的だったりし得るのか、という問いです。しかし、ブルサードは、テクノロジーがいかに、誰によって、誰のために、どのような文脈で創られるかという視点がこの見解には欠けていることを示します。あらゆるテクノロジー・システムは、その創作者たちの前提、価値観、そして偏向を体現しています。あらゆるアルゴリズムは、それが訓練されたデータを反映しており、そのデータはそれを収集した社会の不平等と偏見を反映しています。あらゆる導入の決定には、誰が重要か、誰のニーズを優先するか、誰を周辺化し犠牲にしてもよいかという判断が伴います。

ブルサードは、一連の説得力がありつつも衝撃的なケーススタディを通じてこの主張を立証します。彼女は、広く報じられながらも依然として誤解されがちな「顔認識技術」から話を始めます。顔認識システムは白人男性の顔を識別する際には非常に高い精度を誇りますが、女性、特に肌の色の濃い女性を識別する際には頻繁にエラーを起こします。なぜでしょうか。それは、これらのシステムが主に白人男性の顔を含むデータセットで訓練されたからです。アルゴリズムは、自分が見た例に基づいて「顔」が何を意味するかを学びました。もし見たもののほとんどが白人男性であれば、それを標準（スタンダード）として扱い、それ以外を逸脱と見なすようになります。研究者のジョイ・ブオラムウィニは、一部の商用顔認識システムにおいて、白人男性のエラー率が1%未満であるのに対し、肌の色の濃い女性のエラー率は34%にも達することを発見しました。

これは単なる技術的な問題ではありません。現実的な結果を伴うものです。顔認識は法執行、国境管理、採用選考、金融サービスなど多岐にわたる分野で使用されています。これらのシステムが黒人女性を誤認しやすいということは、これらの女性が誤認逮捕されたり、サービスの利用を拒否されたり、不当に不審者としてマークされたりする可能性が高いことを意味します。アメリカでは、顔認識システムの不一致により複数の黒人男性が誤認逮捕された事例が発生しています。これらのエラーは「不具合」ではなく、白人男性に最適に機能するように設計されたシステムを、人種化された法執行の環境に投入した際に予見される結果なのです。

ブルサードはまた、住宅ローン承認アルゴリズムを探究し、より陰湿な形のアルゴリズム差別を明らかにしています。表面上、誰に貸し出すかをアルゴリズムに決定させることは、人間の偏向を排除する良い方法のように思えます。アルゴリズムは人間の担当者のような人種差別的な思い込みに左右されないからです。しかし、実際にはアルゴリズムは構造的人種差別を永続させ、増幅させ得ることが明らかになりました。研究によれば、収入、信用スコア、その他の「正当な」要因をコントロールしても、黒人やラティーノの申請者は依然として住宅ローンを拒否されたり、高い金利を課されたりする可能性が高いことが示されています。なぜでしょうか。それは、アルゴリズムが何十年にもわたる差別的な貸付慣行を反映した過去のデータで訓練されているからです。銀行が歴史的に特定の郵便番号（たまたま黒人が多く住む地域）の申請者を拒否してきた場合、アルゴリズムは郵便番号が不履行の予測因子であると学習し、その結果、同じ差別的なパターンを永続させることになります。

さらに陰湿なのは、アルゴリズムが「プロキシ（代理）変数」を見つけ出すことです。あからさまに差別禁止法に抵触することなく差別的な結果を導き出すために、人種やジェンダーと相関がありつつも一見「中立的」に見える変数を利用するのです。例えば、アルゴリズムはソーシャルメディアの友人ネットワーク、使用する言語、訪問するウェブサイトなどを考慮するかもしれません。これらは人種や階級と高い相関がありますが、明示的に「人種」を示すものではありません。その結果、客観的でデータ主導に見えながら、実際には人種差別や性差別を強化し、自動化するシステムが誕生するのです。

ヘルスケアの分野において、ブルサードは医療診断アルゴリズムが不十分で偏ったデータで訓練された際に生じる危険なフィードバックループを記録しています。多くの医療AIシステムは、主に白人男性の患者データに基づいて開発されました。歴史的に臨床試験が主に白人男性の参加者を募ってきたためです。その結果、白人男性の疾患は正確に診断できても、女性、有色人種、あるいは障害を持つ人々の診断精度は低いアルゴリズムが生まれています。例えば、心臓病は女性と男性で症状の現れ方が異なることが多いのですが、アルゴリズムが主に男性のデータで訓練されている場合、女性の心臓病の兆候を見逃す可能性があります。肌の色の薄い人向けに訓練された皮膚がん検出アルゴリズムは、濃い肌の色のガンの兆候を認識できないかもしれません。

さらに悪いことに、これは自己強化的なサイクルを作り出します。アルゴリズムが特定の層の診断において性能が低い場合、その層の人々がこれらのテクノロジーの使用に不信感を持ち、将来の研究への参加やサービスの利用を控えるようになります。すると、その層に関するデータがさらに集まらなくなり、将来的にアルゴリズムを改善することがより困難になります。一方で、アルゴリズムが特定の層を誤診した場合、医師はその層の患者の症状に疑問を持ち始め、「テクノロジーが異常なしと言っているのだから、問題は患者の側にあるに違いない」と思い込んでしまうかもしれません。これは、女性や有色人種の痛みや症状が長らく軽視されたり無視されたりしてきた、医療システムにすでに存在する人種差別や性差別のパターンを永続させることになります。

ブルサードはまた、履歴書のスクリーニングや候補者の評価にアルゴリズムを使用する自動採用システムについても探究しています。かつてAmazonはAI採用ツールを開発しましたが、女性の応募者を体系的に差別していることが判明し、放棄せざるを得ませんでした。なぜでしょうか。それは、過去10年間の自社の採用データで訓練されており、その期間の同社の採用（特に技術職）が主に男性に偏っていたからです。アルゴリズムは、過去の採用決定に基づいて「優れた候補者」がどのようなものかを学習しました。過去の決定が性差別的であったため、アルゴリズムもまた性差別的になったのです。履歴書の中に「女性」という言葉（例：「チェスクラブの女性キャプテン」）が含まれていると減点し、女子大学出身の候補者の評価を下げました。

この例は重要なポイントを明らかにしています。アルゴリズムは偏ったデータを修正することはできません。性差別的な採用慣行を反映したデータでアルゴリズムを訓練すれば、性差別的なアルゴリズムができあがります。根本的な問題、すなわち企業の性差別的な文化や慣行が解決されない限り、単にデータを増やしたりアルゴリズムから「偏向を取り除く（デバイアス）」だけでは不十分なのです。テクノロジーは社会問題を解決することはできず、社会問題を反映し、しばしば増幅させることしかできません。

ブルサードは、交差性（インターセクショナリティ）に特に注意を払っています。人種、ジェンダー、階級、能力、その他のアイデンティティの軸がいかに相互に作用し、独特な形態の抑圧や周辺化を創り出しているかという点です。彼女は、アルゴリズムの偏向について語る際、「人種的偏向」と「ジェンダー偏向」をあたかも別々の問題であるかのように考えることはできないと指摘します。黒人女性は単に人種差別プラス性差別の経験をしているのではありません。彼女たちはその両方の産物であり、どちらか一方に還元することのできない、特有の差別の形態を経験しているのです。同様に、障害を持つ有色人種女性、クィアなトランスジェンダー、高齢の移民など、複数の周辺性が交差する立場にある人々に対して、アルゴリズム・システムは最も頻繁に失敗を犯します。

これは、交差的な属性を持つ主体が、訓練データにおいて通常最も過小にしか表現されていないことが一因です。もしデータセットに女性が不足していれば、黒人女性はさらに不足しており、障害を持つ黒人女性は極めて稀でしょう。もしジェンダーのバランスを考慮してアルゴリズムから偏向を取り除こうとしても、白人女性のことしか考えていなければ、人種的な偏向は解決されません。人種的な偏向に対処しようとして黒人の参加者を増やしても、それが全員男性であれば、ジェンダーの偏向は解決されません。真の包括性と公正さを実現するには、交差性への配慮が必要です。人々が複数の相互作用するアイデンティティを持っており、それがいかにテクノロジー・システムとの関わり方や、それらのシステムが自分たちに与える影響を形作っているかを認識しなければならないのです。

ブルサードはまた、「テクノロジーによる解決主義（technological solutionism）」を批判しています。あらゆる問題にはテクノロジーによる解決策があるという信念です。シリコンバレーやテック業界には、社会問題を技術的な問題として捉え直し、より優れたソフト、よりスマートなアルゴリズム、より多くのデータで解決できると考える傾向があります。貧困ならアプリ、差別ならアルゴリズムの訓練、不平等ならシステムの最適化。しかし、ブルサードは、このアプローチは社会問題の本質を根本的に誤解していると主張します。人種差別、性差別、能力主義はテクノロジーで修正できる「不具合」ではなく、歴史的、文化的、経済的、そして政治的な構造に深く根ざした組織的な抑圧の形態なのです。

さらに悪いことに、テクノロジーによる解決主義はしばしば本当の解決策から注意を逸らしてしまいます。アルゴリズムから「偏向を取り除く」ことにすべてのエネルギーを注いでいれば、偏ったデータを生み出している構造的な不平等に対処する必要性を見失うかもしれません。AIをより「公平」にすることに集中していれば、そもそも特定の重要な領域でAIを使うべきなのかという問いを避けてしまうかもしれません。テクノロジーで差別を修正しようとすれば、真の正義を達成するために必要な政治的・社会的な変容を行うことから逃げてしまうことになりかねません。

では、ブルサードが提案する解決策とは何でしょうか。彼女の主張は、偏在するテクノロジーを単に包括的にすることではなく、そもそも特定の層を「他者」として標的にするアルゴリズムを根絶することです。これは「偏ったAIを直そう」ではなく「そもそもこれらのAIシステムを導入すべきかどうかを疑おう」というラジカルな主張です。彼女はテクノロジーに対するより厳格な規制と説明責任を求めています。アルゴリズムは、その動作を検証できない「ブラックボックス」として扱われるべきではありません。透明性を義務付ける法律が必要です。企業は自社のアルゴリズムがどのように機能し、どのようなデータで訓練され、どのように決定を下しているのかを開示すべきです。影響評価も必要です。アルゴリズムを導入する前に、厳格なテストを行って潜在的な偏向や害、特に周辺化されたコミュニティへの悪影響を特定すべきです。そして、説明責任のメカニズムも不可欠です。アルゴリズムが害を及ぼした場合には、明確な救済手段があり、企業や開発者が責任を負うべきです。

ブルサードはまた、テック業界における多様性（単なる形ばかりの表現ではなく、真の権限と意思決定権を持つ多様性）を求めています。もしAIシステムが白人男性だけで設計され続ければ、それらはこれからも白人男性の前提や優先事項を反映し続けるでしょう。テクノロジー開発のあらゆる段階（研究から設計、導入、評価に至るまで）に、多様な人種、ジェンダー、能力、階級の背景を持つ人々が関与する必要があります。そして、これらの多様な声が単に「含まれる」だけでなく、決定を形作る実際の権限を与えられなければなりません。これは、過少にしか表現されていないグループの学生をより受け入れ支援するようにテクノロジー教育を変えることを意味します。テック業界における蔓延する差別やハラスメントに対処し、採用や昇進の慣行を変えることを意味します。そして、不平等や周辺化を生き抜いた経験こそが、公平なテクノロジーを設計するための極めて重要な資産であると認め、異なるタイプの専門知識を評価することを意味します。

しかし、ブルサードは多様性だけが万能薬ではないことも認めています。構造的な制約やインセンティブが変わらないままであれば、多様なチームであっても偏ったテクノロジーを生み出してしまう可能性があります。利益の最大化が最優先であり、指標がエンゲージメントと成長であり続け、文化が「素早く動き、破壊せよ」のままであれば、チームがどれほど多様であっても、結果として有害なものが生まれるかもしれません。真の変化には、部屋の中に誰がいるかを変えるだけでなく、部屋のルールそのものを変えること、すなわち権力構造、意思決定プロセス、価値観、そして目標を変えることが必要なのです。

ブルサードはまた、コミュニティの関与と自律性の重要性を強調しています。テクノロジー・システムによって最も影響を受けるコミュニティこそが、それらのシステムの設計と導入について発言権を持つべきです。これは、システムが出来上がってからフィードバックを求めるのではなく、開発プロセスの早い段階からコミュニティに相談することを意味します。テック企業のビジネス上の利益と衝突する場合であっても、コミュニティの懸念や優先事項を尊重することを意味します。そして、コミュニティには、望まないテクノロジーを拒否し、自分たちに害を及ぼす可能性のあるシステムから離脱する権利があるべきです。

本書の中で最も力強い場面の一つは、法執行機関による顔認識の使用に関するブルサードの議論です。多くの公民権団体は、精度の低さ、人種的偏向、そして監視や特定のコミュニティの標的化に使われる可能性を理由に、警察による顔認識技術の使用停止または完全禁止を求めています。ブルサードもこれらの要求を支持しており、この文脈においてこの技術を「十分に優れた」あるいは「十分に公平な」ものにして使用を正当化する方法はないと主張しています。たとえ顔認識の精度を99%まで高められたとしてもエラーは依然として存在し、それらのエラーは警察によってすでに不当に標的とされているコミュニティに不釣り合いなほどの影響を及ぼすからです。そして、この技術が存在すること自体が権力関係を変化させ、自由な社会とは相容れない大量監視とコントロールの可能性を生み出してしまいます。

この例は、ブルサードのより広い主張を象徴しています。時には解決策はテクノロジーを「直す」ことではなく、それを「導入しない」ことにあるのです。あらゆる問題にテクノロジーによる解決策が必要なわけではなく、たとえ技術的に可能であっても、あらゆるテクノロジーによる解決策が実行されるべきではありません。私たちはテクノロジーの使用についてより思慮深い倫理的判断を必要としており、特定の用途（たとえどれほど「改善」や「偏向修復」がなされたとしても）は、それが引き起こす害ゆえに、根本的に受け入れがたいものであると認識すべきなのです。

ブルサードの執筆スタイルは、複雑な技術的概念を専門家でない読者にも理解しやすく伝えつつ、厳密さと深みを維持しています。彼女は明確な例やアナロジーを用いて、アルゴリズムがどのように機能し、なぜ偏向が生じ、それがどのように現れるのかを説明します。また、彼女は個人的な語り（テック業界で働く黒人女性としての自身の経験、偏向や差別に直面した瞬間、かつて愛した分野をいかに批判的に見るようになったか）を織り交ぜています。これらの個人的な要素が、本書を単に知的に刺激的なものにするだけでなく、感情的にも訴えかけるものにしています。

本作は、サフィヤ・ウモジャ・ノーブルの『抑圧のアルゴリズム』、キャシー・オニールの『数学的破壊兵器』、ルハ・ベンジャミンの『テクノロジーの後の人種』といった、テクノロジーにおける偏向と差別を批判的に検証する著作と呼応しています。しかし、ブルサードのユニークな貢献は、人種やジェンダーだけでなく能力や階級、そしてそれらのカテゴリーがいかに相互作用するかという「交差性」を強調している点にあります。また、彼女は「不具合（グリッチ）」という枠組みそのものに特に焦点を当て、テクノロジーによる害を修正可能なエラーではなく、体系的な設計上の選択として捉え直すべきだと私たちに迫っています。

日本の読者にとっても、本書は極めて高いアクチュアリティを持っています。事例の多くはアメリカの文脈から取られていますが、提起されている問いはグローバルなものです。日本もまた、顔認識から自動意思決定に至るまで、AIやアルゴリズム・システムを急速に導入しています。これらのシステムにはどのような前提や価値観が体現されているのでしょうか。それらは異なるグループの人々にどのような影響を与えているのでしょうか。誰がそれらを設計し、誰が影響を受けているのでしょうか。テクノロジーは中立ではなく、アルゴリズムは社会的不平等を反映・増幅するものであり、私たちはテクノロジーの導入を批判的に検証しなければならないというブルサードの分析枠組みは、日本においても等しく当てはまります。

同時に、本書はテクノロジーにおける正義がグローバルな正義の一部であることを思い出させてくれます。欧米で設計された多くのAIシステムは世界中に展開されており、欧米の偏向や前提を世界中に輸出しています。アフリカ諸国の顔認識システムが主に白人の顔で訓練されていたり、グローバル・サウスで使用される融資アルゴリズムがグローバル・ノースの経済的前提に基づいていたりします。これらの形態のテクノロジー・コロニアリズムは、テック・バイアスの世界的な側面であり、対処のために国際的な協力が必要とされています。

『単なる不具合ではない』は、究極的には権力と正義についての本です。テクノロジーは単に効率やイノベーションの問題ではなく、誰が権力を持ち、誰が利益を得、誰が害を受けるのかという問題であることを直視するよう私たちに求めています。それは、「不具合を直す」という思考を越えて、システムそのもの（その目的、前提、影響）を疑うことを迫っています。私たちはテクノロジーにおける正義を社会正義と切り離せないものとして捉え、アルゴリズムによってますます形作られる世界において、アルゴリズムの偏向との闘いは、人種差別、性差別、そしてあらゆる形態の抑圧に対するより広範な闘いの一部であることを認識しなければなりません。

メレディス・ブルサードは、データサイエンティストとしての技術的専門知識と黒人女性としての生きる経験を持って、厳密かつ親しみやすく、批判的かつ建設的な一冊を書き上げました。本作は、テクノロジーの未来、社会正義、あるいは単に私たちが生きるアルゴリズムの世界を理解したいと願うすべての人にとって必読の書です。それはテック業界に対してより良きを求める挑戦状であり、政策立案者に対する規制と説明責任を求める呼びかけであり、そしてテクノロジーは宿命ではなく、不平等を永続させるのではなく正義と公平に資するように私たちが形作ることができ、また形作らねばならないということを私たち全員に思い起こさせるメッセージです。テクノロジーが不可避的な進歩と解放の力として提示されがちな時代において、ブルサードは、真の進歩とは、私たちがテクノロジーを批判的に検証し、その偏向と害に立ち向かい、テクノロジーが真にすべての人に資する世界のために闘うことを求めているのだと教えてくれています。