アルゴリズムは誰を認識するのか？Joy Buolamwiniが語るバイアス

Joy BuolamwiniのTEDトークは、笑い話として片づけにくい小さな技術的失敗から始まる。彼女が制作したAspire Mirrorは、白いマスクを着けるまで彼女の顔を認識できなかった。初期のヒューマン・コンピューター・インタラクションのプロジェクトでも、彼女は同じように認識されなかったという。これは単に「アルゴリズムは時々間違える」という抽象論ではない。ある人々は標準的な入力として扱われ、別の人々は認識の範囲からこぼれ落ちる。その境界を彼女は「コード化されたまなざし」と呼ぶ。技術は中立な無の場所から世界を見るのではなく、システムを作る人、学習素材を選ぶ人、成功の基準を定める人によって、誰が見えるかを形づくられる。

トークはその経験を、より広いアルゴリズムの意思決定へと結びつける。顔分析や顔認識が商業、監視、公共安全の現場で使われるとき、誤りは使いにくい画面の問題にとどまらない。本人確認や疑いの判断、誰がより誤認され、継続的に監視されるのかに影響しうる。したがってフェミニズムの問いは、「データセットをより均衡させる」ことだけではない。誰が他者を観察し分類する権力を得るのか。分類される人は仕組みを知っているのか。誤りに異議を唱えられるのか。影響を受けるコミュニティは用途と限界を定める場に参加しているのか。

黒人女性の研究者として、Buolamwiniは人種とジェンダーの交差を、互いに無関係な試験項目に分けずにアルゴリズム評価へ持ち込む。TEDトークは個人の語りによって一般の観客に問いを届け、関連研究はより体系的な評価へ進む道を示す。Gender Shadesは併読に適している。トークが一人の経験を通して技術の視野の限界を示すのに対し、研究は差異のある誤認を検証可能な評価課題へと変える。役割は異なり、公開講演を研究論文の代わりにすることはできない。

このTEDトークの強みは、「技術バイアス」を人と機械の具体的な関係として示し、工学の専門家でない観客にも設計責任を問わせる点にある。一方、限界も明確だ。2017年に公開された約8分の講演は、今日使われるあらゆるモデル、学習データ、利用場面のリスクを証明するものではない。また、現在の独立監査、公共調達の制約、透明性の要件、異議申立ての仕組みに代わるものでもない。結論ではなく入口として見たい。認識されなかった一度の経験から、誰がシステムの目的を決め、誰がそのコストを負い、誰が停止を求める力を持つのかを問い続けるために。

視聴と関連資料：TED公式トークと字幕；Gender Shades：交差的な精度評価研究。