Коалиция по этике ИИ осуждает алгоритмы предсказания преступности

В понедельник группа исследователей ИИ, этиков, специалистов по данным и социологов опубликовала блог-пост, в котором утверждается, что академические исследователи должны прекратить исследования, направленные на предсказание вероятности совершения человеком преступления, основанного на переменных, таких как статистика преступлений и сканирование лица.

Блог-пост был написан Коалицией за критическую технологию, которая утверждает, что использование таких алгоритмов увековечивает цикл предубеждений против меньшинств. Многие исследования эффективности алгоритмов распознавания лиц и предсказания преступности показывают, что эти алгоритмы часто судят меньшинства более сурово, что, по мнению авторов блог-поста, является результатом неравенства в системе правосудия. Система правосудия производит предвзятые данные, и поэтому алгоритмы, обученные на этих данных, распространяют эти предубеждения, утверждает Коалиция за критическую технологию. Коалиция утверждает, что сама концепция “преступности” часто основана на расе, и поэтому исследования в этой области предполагают нейтральность алгоритмов, когда на самом деле такая нейтральность не существует.

Как сообщает The Verge, крупный издатель академических работ Springer планировал опубликовать исследование под названием “Модель глубокого нейронного сети для предсказания преступности с помощью обработки изображений”. Авторы исследования утверждали, что они разработали алгоритм распознавания лиц, способный предсказать вероятность совершения человеком преступления без предубеждений и с точностью около 80%. Однако Коалиция за критическую технологию написала открытое письмо Springer, призывая издателя воздержаться от публикации исследования или будущих исследований, связанных с подобными исследованиями.

«Распространение этой работы крупным издателем, таким как Springer, будет означать значительный шаг к легитимации и применению в реальном мире многократно опровергнутых, социально вредных исследований», – утверждает коалиция.

Springer заявил, что не будет публиковать статью, как сообщает MIT Technology Review. Springer заявил, что статья была представлена на предстоящую конференцию, но после процесса рецензирования статья была отклонена для публикации.

Коалиция за критическую технологию утверждает, что исследование по предсказанию преступности является лишь одним примером более широкой вредной тенденции, когда инженеры и исследователи ИИ пытаются предсказать поведение на основе данных, включающих чувствительные, социально сконструированные переменные. Коалиция также утверждает, что многие исследования основаны на научно сомнительных идеях и теориях, которые не подтверждаются имеющимися данными биологии и психологии. Например, исследователи из Принстона и Google (GOOGL ) опубликовали статью, в которой предупреждают, что алгоритмы, которые утверждают, что могут предсказать преступность на основе черт лица, основаны на дискредитированных и опасных псевдонауках, таких как физиогномика. Исследователи предупреждают против использования машинного обучения для возрождения давно опровергнутых теорий, которые поддерживают расистские системы.

Недавний импульс движения Black Lives Matter заставил многие компании, использующие алгоритмы распознавания лиц, пересмотреть использование этих систем. Исследования показали, что эти алгоритмы часто предвзяты и основаны на непредставительных, предвзятых данных обучения.

Подписавшиеся под письмом, помимо утверждения, что исследователи ИИ должны отказаться от исследований по предсказанию преступности, также рекомендуют исследователям переоценить, как оценивается успех моделей ИИ. Члены коалиции рекомендуют, чтобы социальное воздействие алгоритмов было метрикой успеха, в дополнение к метрикам, таким как точность, полнота и точность. Как пишут авторы исследования: «Если машинное обучение должно принести „социальное благо“, о котором говорится в заявках на гранты и пресс-релизах, исследователи в этой области должны активно размышлять о структурах власти (и сопутствующих угнетениях), которые делают их работу возможной».