テクノロジー以後の人種

ルハ・ベンジャミンは、人種階層を再現しながら、それに代わる制度よりも客観的、効率的、または進歩的であるように見えるテクノロジーを説明するために「新しいジム・コード」と名付けました。リスク スコアリングや予測システムから、顔認識、医療技術、自動適格性まで、差別をカテゴリ、トレーニング データ、目標、導入に合わせて設計できる。問題は、偏見を持ったマシンが単独で動作することではない。技術システムはポリシーの選択を継承し、その選択が見えにくくなり、異議を唱えにくくなる。

ベンジャミンは、いくつかの繰り返しパターンを区別する。一部のツールは監視と処罰を強化する。中立の名の下に人種の違いを無視したり、権力を変えずに浅薄な多様性のブランディングを提供したりする企業もある。慈善的であるように提示されたデザインであっても、支援すると主張する人々を拘束する可能性がある。彼女の黒人フェミニストのアプローチは、誰がユーザーとして想像されるのか、誰が管理上の問題となるのか、誰が隠れ労働を行うのか、そしてどのコミュニティがデザインに対する権限を否定されながらデータの提供を強いられるのかを問いかける。

この本の奴隷制度廃止論の視野は、偏ったデータセットの修正やエンジニアリング チームの多様化を超えている。この本は読者に、そもそも取り締まり、排除、抽出を自動化しないテクノロジーを想像すること、そしてコミュニティの慣行を発明の場として認識することを求めている。急速に変化する分野の例は古くなるため、フレームワークは固定されたカタログとして扱うのではなく、再適用する必要がある。その永続的な要求は、公平性がモデルの技術的性能や製作者の善意ではなく、社会的関係と結果によって判断されることである。