AI倫理連合会、犯罪予測アルゴリズムを非難

火曜日、多くのAI研究者、倫理学者、データサイエンティスト、社会科学者が、ブログ投稿を発表し、学術研究者が、犯罪統計や顔認証スキャンなどの変数に基づいて個人が犯罪行為を行う可能性を予測する研究を中止するべきだと主張した。

このブログ投稿は、Coalition for Critical Technologyによって執筆され、顔認証や予測ポリシングアルゴリズムの有効性に関する多くの研究が、アルゴリズムが少数派をより厳しく判断することを示唆しており、これは刑事司法制度の不平等によるものであると主張した。司法制度は偏ったデータを生み出し、アルゴリズムはこのデータに基づいて訓練されるため、偏りを永続させるというものである。同盟は、犯罪性の概念はしばしば人種に基づいているため、研究者はアルゴリズムの中立性を前提としているが、実際にはそのような中立性は存在しないと主張する。

The Vergeの報告によると、学術的な研究を出版している大手出版社のSpringerは、「画像処理を使用した犯罪予測のためのディープニューラルネットワークモデル」と題された研究を出版する予定であった。研究者は、約80%の精度で個人が犯罪を犯す可能性を予測することができる、偏りがない顔認証アルゴリズムを開発したと主張した。しかし、Coalition for Critical Technologyは、Springerに研究を出版しないよう求める公開書簡を送った。

「このような研究を主要な出版社が出版することは、反復的に否定され、社会的に有害な研究を現実世界で正当化し、適用するための重要なステップになるだろう」と同盟は主張する。

Springerは、MIT Technology Reviewの報告によると、研究を出版しないことを発表した。同社は、研究は将来の会議に提出されたが、査読の結果、出版を拒否されたと述べた。

Coalition for Critical Technologyは、犯罪予測に関する研究は、AIエンジニアや研究者が、社会的に構築された変数で構成されるデータに基づいて行動を予測しようとする有害な傾向の1つに過ぎないと主張する。同盟は、多くの研究が、生物学や心理学の利用可能な証拠によって支持されていない、科学的に疑わしいアイデアや理論に基づいているとも主張する。例えば、プリンストン大学とGoogleの研究者は、記事を発表し、顔認証に基づいて犯罪性を予測するアルゴリズムは、有害で危険な疑似科学であるphysiognomyに基づいていると警告した。研究者は、機械学習が、人種差別システムを支持するために使われてきた、長年にわたって否定された理論を再び活性化させることを許すべきではないと警告した。

最近のBlack Lives Matter運動の勢いは、多くの企業が顔認証アルゴリズムの使用を再評価するきっかけとなった。研究によると、これらのアルゴリズムは頻繁に偏っており、代表性のない、偏った訓練データに基づいている。

書簡の署名者は、AI研究者が犯罪予測アルゴリズムの研究を中止することを主張するだけでなく、AIモデルの成功を判断する方法を再評価することも推奨している。同盟のメンバーは、アルゴリズムの社会的影響が、精度、再現率、精度などのメトリックとともに成功のメトリックとなるべきだと主張する。同盟のメンバーは、次のように書いている。

「機械学習が、助成金の提案やプレスリリースで称賛されている『社会的善』をもたらすためには、この分野の研究者は、自分の仕事を可能にする権力構造（およびそれに伴う抑圧）について積極的に反省しなければならない。」