Коалиция по этике ИИ осуждает алгоритмы прогнозирования преступности

Во вторник ряд исследователей ИИ, специалистов по этике, специалистов по данным и социологов выпустил сообщение в блоге утверждая, что академические исследователи должны прекратить проводить исследования, которые пытаются предсказать вероятность того, что человек совершит преступное деяние, на основе таких переменных, как статистика преступлений и сканирование лица.

Сообщение в блоге было создано Коалицией критических технологий, которая утверждала, что использование таких алгоритмов увековечивает цикл предубеждений против меньшинств. Многие исследования эффективности алгоритмов распознавания лиц и предиктивной полицейской деятельности показывают, что алгоритмы, как правило, более сурово судят меньшинства, что, как утверждают авторы сообщения в блоге, связано с несправедливостью в системе уголовного правосудия. Система правосудия производит предвзятые данные, и поэтому алгоритмы, обученные на этих данных, распространяют эти предубеждения, утверждает Коалиция за критические технологии. Коалиция утверждает, что само понятие «преступность» часто основано на расе, и поэтому исследования, проводимые с использованием этих технологий, предполагают нейтральность алгоритмов, хотя на самом деле такой нейтральности не существует.

Как сообщает The Verge, крупный издатель академических работ Springer планировал опубликовать исследование под названием «Модель глубокой нейронной сети для прогнозирования преступности с использованием обработки изображений». Авторы исследования заявили, что разработали алгоритм распознавания лиц, способный предсказать вероятность того, что человек совершит преступление, без предвзятости и с точностью примерно 80%. Тем не менее, Коалиция за критические технологии написала Springer открытое письмо, призывая издателя воздержаться от публикации исследования или будущих исследований, связанных с аналогичными исследованиями.

«Распространение этой работы таким крупным издателем, как Springer, стало бы важным шагом на пути к легитимации и применению в реальном мире неоднократно опровергаемых социально вредных исследований», — утверждает коалиция.

Springer заявил, что не будет издавать газету, как сообщает MIT Technology Review. Спрингер заявил, что статья была представлена ​​на предстоящую конференцию, но после рецензирования статья была отклонена для публикации.

Коалиция за критические технологии утверждает, что документ о прогнозировании преступности — это всего лишь один пример более масштабной вредной тенденции, когда инженеры и исследователи ИИ пытаются предсказать поведение на основе данных, состоящих из чувствительных, социально сконструированных переменных. Коалиция также утверждает, что большая часть исследований основана на сомнительных с научной точки зрения идеях и теориях, которые не подтверждаются имеющимися данными в области биологии и психологии. Например, исследователи из Принстона и Google опубликовала статью предупреждая, что алгоритмы, претендующие на способность предсказывать преступность по чертам лица, основаны на дискредитированных и опасных псевдонауках, таких как физиогномика. Исследователи предостерегают от использования машинного обучения для оживления давно опровергнутых теорий, используемых в поддержку расистских систем.

Недавний импульс движения Black Lives Matter побудил многие компании, использующие алгоритмы распознавания лиц, пересмотреть свое использование этих систем. Исследования показали, что эти алгоритмы часто бывают предвзятыми, основанными на нерепрезентативных, предвзятых данных обучения.

Стороны, подписавшие письмо, в дополнение к утверждению, что исследователи ИИ должны отказаться от исследований алгоритмов прогнозирования преступности, они также рекомендовали исследователям переоценить то, как оценивается успех моделей ИИ. Члены коалиции рекомендуют, чтобы общественное влияние алгоритмов было показателем успеха в дополнение к таким показателям, как точность, полнота и достоверность. Как пишут авторы статьи:

«Если машинное обучение должно принести «общественное благо», рекламируемое в заявках на гранты и в пресс-релизах, исследователи в этой области должны активно размышлять о силовых структурах (и сопутствующем угнетении), которые делают их работу возможной».