Коалиция по этике ИИ осуждает алгоритмы предсказания преступности

В вторник группа исследователей ИИ, этиков, специалистов по данным и социологов опубликовала пост в блоге, в котором утверждается, что академические исследователи должны прекратить исследования, направленные на предсказание вероятности совершения человеком преступления, основанного на переменных, таких как статистика преступности и сканирование лица.

Пост в блоге был написан Коалицией за критическую технологию, которая утверждает, что использование таких алгоритмов увековечивает цикл предвзятости против меньшинств. Многие исследования эффективности алгоритмов распознавания лица и предсказуемой полиции обнаруживают, что алгоритмы склонны судить меньшинства более сурово, что авторы поста в блоге утверждают, является результатом неравенства в системе правосудия. Система правосудия производит предвзятые данные, и поэтому алгоритмы, обученные на этих данных, распространяют эти предвзятости, утверждает Коалиция за критическую технологию. Коалиция утверждает, что сама концепция “преступности” часто основана на расе, и поэтому исследования, проводимые на этих технологиях, предполагают нейтральность алгоритмов, когда на самом деле такая нейтральность не существует.

Как сообщает The Verge, крупный издатель академических работ, Springer, планировал опубликовать исследование под названием “Модель глубокого нейронного сетевого предсказания преступности с помощью обработки изображений”. Авторы исследования утверждали, что они разработали алгоритм распознавания лица, способный предсказать вероятность совершения человеком преступления без предвзятости и с точностью примерно 80%. Однако Коалиция за критическую технологию написала открытое письмо Springer, призывая издателя воздержаться от публикации исследования или будущих исследований, связанных с подобными исследованиями.

“Распространение этой работы крупным издателем, таким как Springer, будет означать значительный шаг к легитимации и применению неоднократно опровергнутых, социально вредных исследований в реальном мире”, – утверждает коалиция.

Springer заявил, что не будет публиковать статью, как сообщает MIT Technology Review. Springer заявил, что статья была представлена на предстоящую конференцию, но после процесса рецензирования статья была отклонена для публикации.

Коалиция за критическую технологию утверждает, что исследование предсказания преступности является лишь одним случаем более широкой, вредной тенденции, когда инженеры и исследователи ИИ пытаются предсказать поведение на основе данных, включающих чувствительные, социально сконструированные переменные. Коалиция также утверждает, что многие исследования основаны на научно сомнительных идеях и теориях, которые не подтверждаются доступными данными биологии и психологии. Например, исследователи из Принстона и Google опубликовали статью, в которой предупреждают, что алгоритмы, утверждающие, что они могут предсказать преступность на основе черт лица, основаны на дискредитированных и опасных псевдонауках, таких как физиогномия. Исследователи предупреждают против использования машинного обучения для возрождения давно опровергнутых теорий, использованных для поддержки расистских систем.

Недавний импульс движения Black Lives Matter заставил многие компании, использующие алгоритмы распознавания лица, переоценить использование этих систем. Исследования показали, что эти алгоритмы часто предвзяты, основаны на не представительных, предвзятых данных обучения.

Подписавшиеся под письмом, помимо утверждения, что исследователи ИИ должны отказаться от исследований алгоритмов предсказания преступности, также рекомендуют, чтобы исследователи переоценили, как оценивается успех моделей ИИ. Члены коалиции рекомендуют, чтобы социальное воздействие алгоритмов было метрикой успеха, в дополнение к метрикам, таким как точность, полнота и точность. Как пишут авторы статьи:

“Если машинное обучение должно принести ‘социальное благо’, о котором говорится в заявках на гранты и пресс-релизах, исследователи в этой области должны активно размышлять о структурах власти (и сопутствующих угнетениях), которые делают их работу возможной.”