私事であるが、私はITエンジニアとして給与を稼いでいる身である。そして、日常においては否応なくAIにもビッグデータにも接しなければならないという立場になっている。といっても、操るというわけではなく、手のひらに載せられているという感じか。どういうことかというと、当事者ですら「なぜそうなるのかはわからないが、なぜかうまくいっている」という状況が当たり前になってしまっている。シンギュラリティはもう迎えているのかも知れないと日々体感している。
それは生成AIが出てきてからの話かというと、そうではない。本書が刊行された2018年時点で既に、キャシー・オニール氏は既に警告していた。もっといえば、警告が出ていた2018年時点で既に当たり前に利用されていた。
以下は本書に掲げられている警告としての事例である。
全米大学ランキングは、SAT平均点・卒業率・寄付額といった代理指標で順位が決まるため、各大学はランキングを上げるためだけに動くようになる。その結果が、学費の急騰と奨学金削減、そしてスポーツ投資による知名度の獲得である。その結果、学業のために大学に行こうと目指す貧しい学生が大学には入れない事態が起こっている。
就職においても、クロノスなどの性格検査で赤信号が出ると最低賃金の仕事にも就けない。履歴書や職務経歴書を送っても、人間の目に触れる前に履歴書自動選別ソフトが働き、キーワードがなければ人間の目にも触れないようになっている。
信用スコアについてはもっと深刻だ。本人がどんなに努力しても、従来のFICOスコアに加え、郵便番号、ネット閲覧履歴、さらには友達のスコアまで調べられ信用度がを算出され、貧しい地域に住むだけで金利が跳ね上がる。
信用スコアに近い自動車保険の保険料率査定においても、クレジットスコアの悪さが運転も悪いとの判断につながり、飲酒運転歴のある金持ちより、無事故の貧しい人の方が保険料が高いという逆転現象が発生している。
犯罪予測ソフトのPredPolは貧困地区に警官を集中配置するように結論を出しており、実際に逮捕数を増加させているが、その結果、犯罪が多い地域であるというデータができあがり、さらに警官が増えるという悪循環が起こっている。こうした地域で犯行に手を染めて逮捕されたとき、LSI-Rなどの再犯予測モデルによって貧困、人種、友人関係といったスコアが作られ、刑期が長くなり、出所後も就職できず再犯にいたることで、予測が当たったとしてとモデルが自己正当化される。
政治においてもマイクロターゲティングとして有権者一人ひとりに違うメッセージが送られ、候補者は安全圏で過激な発言を繰り返し、世論は分断され、投票率そのものすら操作されるまでになる。FacebookやGoogleのアルゴリズムが、気分や投票行動に影響を与える実験も既に実証済である。
これらはすべて効率と利益を目的に設計された結果であり、そこに公平性という概念は無いと著者は主張する。その上で、解決策はアルゴリズム監査の義務化、透明性の強制、悪質モデルの使用禁止を主張する。
数学は道具にすぎない。誰のために、何のために使うか。「アルゴリズム」は既に、教育、就職、金融、司法、政治のほぼ全域に浸透している独裁者であると著者は訴える。
