技術的に間違っている

Sara Wachter-Boettcher の『技術的に間違っている』は、日常的なデジタル製品が誰を「標準的なユーザー」とみなすのかを、静かに決めていく仕組みを考察する。出版社が挙げるのは一見ありふれた例だ。異性愛者でない人には使いにくい登録フォーム、亡くなった家族の写真を明るい「一年の振り返り」として送りつけるソーシャルメディア、女性に嫌がらせをするチャットボット、より多くの黒人を収監につなげるアルゴリズム。規模の異なる失敗を結びつける問いは、製品チームが誰の生活を想定したのか、そして想定から外れた人に何が起きるのかである。

この問いは、単独のバグだと考える安心感から分析を遠ざける。性別や家族のカテゴリーが狭いフォームは、制度的な前提を利用者個人の面倒として見せる。自動化された思い出機能は、状況を意味ある形で理解できないまま、悲嘆をエンゲージメント機会として扱うことがある。予測ツールは、歴史的な不平等を技術スコアへ変換し、その数値を客観的に見せてしまう。いずれの場合も、摩擦、可視性、リスクが不均等に配分される。インターフェースだけが原因なのではない。データ、テスト、製品目標、責任の所在をめぐる深い判断が、利用者の目の前で具体化する場所なのである。

Wachter-Boettcher は製品の失敗を、テクノロジー産業の価値観や仕事の進め方と結びつける。善意や、多様な背景を持つ人を何人か採用するだけで、狭い前提に支えられたシステムが自動的に修正されるという考えに異議を唱える。代表性は重要だが、意思決定権も伴わなければならない。誰が調査の問いを決めるのか、どのような被害がリリース停止の理由となるのか、誰が公開を止められるのか、影響を受ける利用者が改善策を形づくれるのか。「ユーザー中心」という言葉も、組織が製品の想定に合う人だけの声を聞くなら空虚である。倫理的なデザインは、画面が完成してから追加する最終監査ではなく、調査、開発、コンテンツ、経営、事業判断を横断する継続的な責任である。

本書は身近な操作を通して構造的な批判を実感しやすくする点で力を発揮する。ある名前を受け付けない欄や、家族を一つの形に限定するサービスといった小さな排除に気づき、そこから組織の権力関係へと遡る。日々の使いづらさを制度的な説明責任へ結びつけるため、デザイン職以外の読者にも役立つ。製品を見極める問いを与えてくれるのだ。どのカテゴリーが初期設定されているか、学習・テスト用データから誰の経験が欠けているか、誤りのコストを誰が負うか、企業のシステムが害を与えたときにどんな救済があるか。アルゴリズムの出力は、自動化されているからといって中立にはならない。

各例のリスクは同じではなく、平らに扱うべきでもない。名前や家族情報を受け付けないフォームは、日常的な手間を繰り返し利用者に負わせ、「ここにあなたの居場所はない」という合図を送る。一方、刑事司法で使われる予測スコアは、より大きな規模で自由を左右し得る。両者を比べるのは被害が同等だという意味ではない。どちらも「技術的な問題」という言葉の背後に隠されがちな組織の意思決定の連鎖を明らかにするのだ。何を最適化し、何を成功として記録し、誰がテストし、誰に修正する権限があるのか。その連鎖を追えば、包摂的デザインは入力欄のチェックリストではなく説明責任の問題になる。

この記録は ISBN 9780393356045 の2018年ペーパーバック版を示し、初版は2017年に刊行された。扱われる事例は生成AIが大衆向け製品になる前の時期に属する。そのため本書は、技術的偏りを読み解く基礎的な視点であり、現代の大規模言語モデルや現在のあらゆるプラットフォームを監査するものではない。持続するフェミニスト的貢献は、小さな操作から出発し、その設計を決めた組織まで責任をたどる方法を示すことだ。計算技術と植民地主義、人種、ジェンダー、環境、労働との絡みを広く扱う『Your Computer Is on Fire』、フェミニズムをソフトウェアの構造やインターフェースにどう住まわせるかを実践的に問う『ソフトウェア・ラボのフェミニスト』と並べて読みたい。

資料：W. W. Norton のペーパーバック版書誌（ISBN、版の日付、出版社紹介の事例）；Sara Wachter-Boettcher の著書紹介（デジタル製品に埋め込まれる偏りと盲点についての著者の説明）。