Эндрю Пери, Эвангелист этики, ABBYY – Интервью

Эндрю Пери – Эвангелист этики в ABBYY, компании цифрового интеллекта. Они наделяют организации возможностью получить доступ к ценной, но часто трудно достижимой информации о своей деятельности, что позволяет осуществлять真正ую бизнес-трансформацию.

ABBYY недавно запустила Глобальную инициативу по продвижению разработки надёжного искусственного интеллекта. Мы решили задать Эндрю вопросы о этике ИИ, злоупотреблении ИИ и о том, что отрасль ИИ может сделать с этими проблемами в будущем.

Что именно первоначально пробудило ваш интерес к этике ИИ?

То, что первоначально пробудило мой интерес к этике ИИ, было глубоким интересом к пересечению права и технологии ИИ. Я начал свою карьеру в системе уголовного правосудия, представляя неблагополучных обвиняемых, которые не имели финансовых возможностей для оплаты юридических услуг. Затем я перешел в технологии, сосредоточившись на применении передового поиска и ИИ в юридической практике. Как сертифицированный специалист по защите данных, я особенно увлечен правом на защиту данных и правильным использованием технологии ИИ, соответствующей и усиливающей права на защиту данных.

Технология распознавания лиц часто злоупотребляется источниками власти, включая правительство США. Насколько это должно быть общественной проблемой?

Последствия технологии распознавания лиц должны быть значительной общественной проблемой, поскольку эта технология может повлиять на так много фундаментальных прав, включая экономические, социальные и безопасные права.

Существует четкое и убедительное доказательство того, что алгоритмы распознавания лиц ненадежны. Исследование NIST алгоритмов распознавания лиц показало, что афроамериканцы были в 100 раз более вероятны быть неправильно идентифицированными. Аналогичное исследование школы права Джорджтауна показало, что алгоритмы распознавания лиц на основе фотографий в полицейских архивах дали высокий процент ложных положительных результатов, связанных с афроамериканскими лицами, и исследование 2018 года Массачусетского технологического института программного обеспечения распознавания лиц Amazon (AMZN ) показало, что в то время как белые мужчины были точно идентифицированы 99% времени, темнокожие лица генерировали до 35% ложных положительных результатов.

По этим причинам регулирующие органы начинают принимать меры по запрету использования технологий распознавания лиц, особенно в контексте наблюдения и профилирования. Например, сенат Калифорнии принял государственный запрет на использование технологий распознавания лиц и других биометрических методов наблюдения.

Также существует импульс внутри технологического сообщества к отказу от маркетинга программного обеспечения распознавания лиц. IBM объявила, что она перестанет продавать программное обеспечение распознавания лиц, ссылаясь на то, что оно нарушает основные права человека и свободы. Microsoft (MSFT ) также объявила о подобном решении прекратить продажу своей технологии распознавания лиц, также ссылаясь на фундаментальные права человека.

Программное обеспечение COMPAS, которое использовалось судами США для оценки риска преступности, ошибочно пометilo видимых меньшинств как более склонных к рецидиву, чем белых правонарушителей. Учитывая это, должно ли использование ИИ в судах вообще быть вариантом?

Исследования программного обеспечения COMPAS показали, что оно не лучше предсказывает преступления, чем случайные люди. Хотя прогностический анализ дает значительную ценность в коммерческом контексте, он был признан результатом неравенства при его применении к уголовному правосудию. Это очевидно в отчете, опубликованном Pro Publica, который показал, что COMPAS, наиболее популярное программное обеспечение, используемое судами США для оценки риска преступности, ошибочно пометilo видимых меньшинств как более склонных к рецидиву в два раза чаще, чем белых правонарушителей.

Эти неравенства побудили бывшего генерального прокурора Эрика Холдера поставить под сомнение справедливость и выразить обеспокоенность по поводу потенциальных неравенств, вызванных применением технологии ИИ для предсказания показателей рецидивизма в населении правонарушителей.

Как общество может избежать непреднамеренного программирования негативных предубеждений в системы ИИ?

Во-первых, должно быть признание того, что ИИ может иметь склонность к производству непреднамеренного предубеждения, часто называемого бессознательным предубеждением. Смягчение его негативного воздействия требует комплексного подхода, включающего разработку этических рекомендаций по ИИ, таких как предложенные Рамками этики ОЭСР. Это основано на семи основополагающих принципах, включая человеческое агентство и надзор, техническую прочность и безопасность, конфиденциальность и управление, прозрачность, разнообразие и недискриминацию, благосостояние общества и подотчетность.

Во-вторых, соблюдение правовых рамок, защищающих от автоматического профилирования, имеет решающее значение. Например, ЕС имеет долгую историю уважения и защиты прав на защиту данных, и наиболее recent и мощное выражение – это Общий регламент по защите данных (GDPR), который конкретно защищает от автоматического принятия решений.

В-третьих, необходимо отраслевое подотчетность за то, как технология ИИ разрабатывается, и обязательство обеспечить прозрачность без ущерба для их прав на интеллектуальную собственность. Есть положительные события здесь. Например, Партнерство по ИИ – это организация с более чем 80 членами в 13 странах, посвященная исследованиям и обсуждению ключевых вопросов ИИ.

Наконец, технологические организации должны поддерживать обязательство провести оценку воздействия предубеждений перед коммерческим выпуском алгоритмов ИИ, особенно когда их применения влияют на права на защиту данных и безопасность. Вопросы, которые лидеры технологий должны учитывать перед выпуском новых приложений, работающих на ИИ, включают: Является ли данные, на которых обучена эта технология, достаточно разнообразными? Как будет обнаружено предубеждение? Как оно тестируется и кем? Каковы стимулы разработчиков? Кто будет получать коммерческую выгоду от этого?

Важно помнить, что решения ИИ отражают основные данные, на которых они обучены, поэтому обеспечение того, что эти данные не предвзяты и правильно отражают разнообразие конституентов, которым будет служить решение, имеет решающее значение. В словах исследователя ИИ профессора Джоанны Брайсон, “если основные данные отражают стереотипы или если вы обучаете ИИ на человеческой культуре, вы найдете предубеждение. И если мы не будем осторожны, мы рискуем интегрировать это предубеждение в компьютерные программы, которые быстро берут на себя управление всем, от больниц до школ и тюрем – программы, которые должны устранить эти предубеждения в первую очередь”.

ABBYY недавно запустила Глобальную инициативу по продвижению разработки надёжного искусственного интеллекта. Насколько эта инициатива важна для будущего ABBYY?

Решение разработать нашу глобальную инициативу для надёжного ИИ является важным решением, обусловленным нашей убежденностью в том, что как организация, чьи технологии влияют на предприятия по всему миру и обслуживают десятки тысяч отдельных пользователей, мы имеем обязательство быть хорошими корпоративными гражданами с социальной совестью. Это не только помогает вызвать большее доверие у наших глобальных клиентов и партнеров, но также обеспечивает, что наши технологии продолжают иметь глубокое влияние таким образом, чтобы приносить пользу общему благу.

Это также имеет хорошее бизнес-осмысление продвигать и поддерживать надёжное использование ИИ. Это укрепляет наш бренд-капитал, вызывает доверие у нашей глобальной клиентской и партнерской экосистемы. Доверие переводится в повторный бизнес и в устойчивый рост.

Частью этой инициативы является обязательство ABBYY создать культуру, которая продвигает этическое использование ИИ и его социальную пользу. Что необходимо сделать другим компаниям, чтобы создать подобную культуру?

Технологические компании должны разработать основу для этического использования ИИ. Степень такого обязательства зависит от предполагаемых применений алгоритмов ИИ. Лучший способ оценить его воздействие – применить принцип “не навреди”. И иметь верхнее обязательство к надёжному использованию ИИ.

Не менее важно обязательство к прозрачности. Хотя права на интеллектуальную собственность должны быть сбалансированы с принципом надёжного ИИ, важность прозрачности и подотчетности за ответственное использование ИИ должна быть четко артикулирована и передана по всей организации.

Одной из инициатив, которой обязалась ABBYY, является поставка технологий ИИ, которые являются социально и экономически полезными. Это может быть трудным балансом. Как компании могут лучше всего реализовать это?

Лидеры могут достичь этого баланса, принимая во внимание рекомендации, предложенные Deloitte: проектирование этики в ИИ начинается с определения того, что важно для заинтересованных сторон, таких как клиенты, сотрудники, регулирующие органы и общественность. Компании должны создать специальный комитет по управлению ИИ и консультативный совет из лидеров из разных функций и внешних советников, который будет взаимодействовать с группами заинтересованных сторон и устанавливать и контролировать управление решениями, работающими на ИИ, включая их проектирование, разработку, развертывание и использование.

Как мы балансируем свои коммерческие интересы и социальную пользу, было недавно продемонстрировано во время пандемии коронавируса. Мы сделали многие из наших технологий доступными бесплатно или по сниженным ставкам, чтобы помочь отдельным лицам и организациям пройти через кризис, поддерживать бизнес-непрерывность и поддерживать своих клиентов в условиях непредсказуемых обстоятельств.

Мы также недавно сделали наши технологические рамки доступными через NeoML, нашу кроссплатформенную открытую библиотеку машинного обучения, которая позволяет разработчикам программного обеспечения использовать проверенные и надежные модели для продвижения инноваций ИИ.

Можете ли вы поделиться своим мнением об использовании ИИ для приложений COVID-19 для отслеживания контактов и необходимости балансирования права на защиту данных?

Это особенно сложная проблема. Есть те, кто утверждает, что реализация мобильных приложений для отслеживания представляет собой нежелательное вторжение в права на защиту данных. С другой стороны, когда речь идет о общественной безопасности, всегда существуют ограничения на права в целом. Это компромисс между правами и обязанностями. Однако права не являются абсолютными. Сдерживание глобальной пандемии требует скоординированных действий и применения ресурсов и технологий, которые могут быть ответственно использованы для защиты населения в целом.

Этот баланс между индивидуальными правами на защиту данных и общим благом признан в правовой базе. Например, GDPR определяет шесть оснований для законной обработки личной информации, включая положение, когда обработка является необходимой для общественных интересов, такая обработка личной информации оправдана без получения согласия субъекта данных.

Кроме того, пункт 46 GDPR прямо предусматривает, что обработка личной информации оправдана без получения согласия субъекта данных в случае гуманитарных чрезвычайных ситуаций, включая эпидемии. Однако важно отметить, что пункт 46 трактует применение положения об общественных интересах очень узко, указывая, что оно должно осуществляться только тогда, когда это не может быть основано на другом правовом основании.

Помимо балансирования прав на защиту данных и общественных интересов, также важно, чтобы технологический сектор и политики реализовали этически обоснованные, прозрачные и справедливые рекомендации, связанные с использованием профилирования, работающего на ИИ, и обменом высокочувствительной информацией о здоровье. Крупные технологические компании, включая Google (GOOGL ) и Facebook (META ), уже начали инициативы по отслеживанию перемещений пользователей для определения того, как распространяется вирус и оценки эффективности мер социального дистанцирования.

Я считаю, что пока информация анонимизирована, ее использование имеет социальную пользу.

Есть ли что-то еще, что вы хотели бы поделиться относительно новой Глобальной инициативы ABBYY по продвижению разработки надёжного искусственного интеллекта?

Регуляторные акты, как правило, отстают от технологических инноваций, поэтому компании должны взять на себя активную роль в продвижении прозрачности и подотчетности за технологии ИИ и их воздействие на права на защиту данных и безопасность. Наша инициатива отражает нашу приверженность этому начинанию. С момента основания мы создали инновационные технологии, которые сохраняют ценную информацию и превращают ее в действенные знания.

Кроме того, этическое использование технологий ИИ не должно рассматриваться только на правовой основе, но и как моральное обязательство и бизнес-императив. Если ваши решения имеют широкий охват и влияют на бизнес-критические функции, это должно быть отраслевым стандартом быть прозрачным в применении технологий ИИ.

Большое спасибо за ответы на эти важные вопросы. Чтобы просмотреть руководящие принципы и подход ABBYY к соблюдению и продвижению принципов надёжного ИИ, пожалуйста, нажмите здесь. Любой, кто хочет узнать больше об ABBYY в целом, может посетить веб-сайт ABBYY.