Профессор Джулия Стоянович, Директор Центра Ответственного ИИ – Серия Интервью

Джулия Стоянович, является профессором в Школе Инженерии Тандона при NYU и основным Директором Центра Ответственного ИИ. Она недавно дала показания Комитету по Технологиям Совета Нью-Йорка о предложенном законопроекте, который регулирует использование ИИ для принятия решений о приеме на работу и трудоустройстве.

Вы являетесь основным Директором Центра Ответственного ИИ при NYU. Не могли бы вы поделиться с нами некоторыми инициативами, предпринятыми этой организацией?

Я являюсь со-директором Центра Ответственного ИИ (R/AI) при NYU вместе со Стивеном Куяном. Стивен и я имеем взаимодополняющие интересы и экспертизу. Я являюсь ученым, с компьютерным образованием и сильным интересом к вдохновленной использованием работы на пересечении инженерии данных, ответственной науки о данных и политики. Стивен является управляющим директором NYU Tandon Future Labs, сети инкубаторов и акселераторов стартапов, которая уже оказала значительное экономическое влияние на Нью-Йорк. Наша видение для R/AI заключается в том, чтобы помочь сделать “ответственный ИИ” синонимом “ИИ”, посредством комбинации прикладных исследований, общественного образования и вовлечения, и помощью компаниям большим и малым – особенно малым – в разработке ответственного ИИ.

За последние несколько месяцев R/AI активно участвовал в обсуждениях вокруг ADS (Автоматизированных Систем Принятия Решений). Наш подход основан на комбинации образовательных мероприятий и вовлечения в политику.

Нью-Йорк рассматривает предложенный закон, Int 1894, который регулирует использование ADS при приеме на работу посредством комбинации аудита и публичного раскрытия. R/AI представил публичные комментарии по законопроекту, основанные на наших исследованиях и на выводах, которые мы получили от соискателей через несколько публичных мероприятий.

Мы также сотрудничали с The GovLab при NYU и с Институтом Этики ИИ при Техническом Университете Мюнхена над бесплатным онлайн-курсом под названием “Этика ИИ: Глобальные Перспективы“, который был запущен ранее этого месяца.

Еще одним недавним проектом R/AI, который привлек значительное внимание, является наш сериал комиксов “Data, Responsibly”. Первый том серии называется “Mirror, Mirror”, он доступен на английском, испанском и французском языках и доступен с помощью экранных читателей на всех трех языках. Комикс получил премию “Инновация Месяца” от Metro Lab Network и GovTech, и был освещен в Toronto Star, среди других.

Какие есть некоторые текущие или потенциальные проблемы с предвзятостью ИИ при приеме на работу и трудоустройстве?

Это сложный вопрос, который требует от нас сначала четко определить, что мы подразумеваем под “предвзятостью”. Ключевым моментом является то, что автоматизированные системы приема на работу являются “предсказательными аналитиками” – они предсказывают будущее на основе прошлого. Прошлое представлено историческими данными о людях, которые были приняты на работу в компании, и о том, как эти люди выполняли свою работу. Система затем “обучается” на этих данных, то есть она выявляет статистические закономерности и использует их для принятия решений. Эти статистические закономерности являются “магией” ИИ, на которой основаны предсказательные модели. Ясно, но важно, что исторические данные, из которых были получены эти закономерности, молчат о людях, которые не были приняты на работу, потому что мы просто не знаем, как они бы справились с работой, на которую они не были приняты. И это где вступает в силу предвзятость. Если мы систематически принимаем на работу больше людей из определенных демографических и социально-экономических групп, то принадлежность к этим группам и характеристики, связанные с этой группой, станут частью предсказательной модели. Например, если мы видим только выпускников лучших университетов, принятых на руководящие должности, то система не может научиться тому, что люди, которые посещали другой университет, также могут хорошо справиться с работой. Легко увидеть аналогичную проблему для пола, расы и статуса инвалидности.

Предвзятость в ИИ намного шире, чем просто предвзятость в данных. Она возникает, когда мы пытаемся использовать технологию, где техническое решение просто неуместно, или когда мы ставим неправильные цели для ИИ – часто потому, что у нас нет разнообразной группы голосов за столом дизайна, или когда мы отказываемся от нашей агентности в взаимодействиях между человеком и ИИ после развертывания ИИ. Каждая из этих причин предвзятости заслуживает отдельного обсуждения, которое, скорее всего, займет больше места, чем позволяет эта статья. Итак, ради сосредоточения внимания, позвольте мне вернуться к предвзятости в данных.

Когда я объясняю предвзятость в данных, я люблю использовать метафору отражения в зеркале. Данные являются образом мира, его отражением в зеркале. Когда мы думаем о предвзятости в данных, мы исследуем это отражение. Одно толкование “предвзятости в данных” заключается в том, что отражение искажено – наше зеркало недооценивает или переоценивает некоторые части мира, или искажает показания. Другое толкование “предвзятости в данных” заключается в том, что, даже если отражение было 100% верным, оно все равно было бы отражением мира таким, какой он есть сегодня, и не того, каким он мог бы или должен быть. Важно, что не данные или алгоритм могут сказать нам, является ли это идеальным отражением сломанного мира или сломанным отражением идеального мира, или если эти искажения усугубляются. Это зависит от людей – отдельных лиц, групп, общества в целом – прийти к консенсусу о том, согласны ли мы с миром таким, какой он есть, или, если нет, как мы должны улучшить его.

Вернемся к предсказательной аналитике: чем сильнее расхождения в данных, как отражение прошлого, тем более вероятно, что они будут выявлены предсказательными моделями, и будут воспроизведены – и даже усугублены – в будущем.

Если нашей целью является улучшение наших практик приема на работу с учетом равенства и разнообразия, то мы просто не можем передать эту работу машинам. Мы должны сделать трудную работу по выявлению истинных причин предвзятости при приеме на работу и трудоустройстве, и вести переговоры о социально-правовом-техническом решении с участием всех заинтересованных сторон. Технология, конечно, играет роль в помощи нам улучшить статус-кво: она может помочь нам оставаться честными относительно наших целей и результатов. Но притворяться, что де-байасирование данных или предсказательной аналитики решит глубоко укоренившиеся проблемы дискриминации при приеме на работу, является наивным, по крайней мере.

Вы недавно дали показания Комитету по Технологиям Совета Нью-Йорка, одно из ваших замечательных замечаний было следующим: “Мы обнаружили, что как бюджет рекламодателя, так и содержание рекламы существенно способствуют наклону доставки рекламы Facebook. Критически, мы наблюдаем значительный наклон в доставке по гендерным и расовым линиям для ‘реальных’ рекламных объявлений о трудоустройстве и жилье, несмотря на нейтральные параметры нацеливания.” Какие есть некоторые решения, чтобы избежать такого рода предвзятости?

Это замечание, которое я сделал, основано на блестящей статье Али и др. под названием “Дискриминация через Оптимизацию: Как Доставка Рекламы Facebook Может Привести к Предвзятым Результатам.” Авторы обнаруживают, что механизм доставки рекламы сам по себе ответственен за введение и усиление дискриминационных эффектов. Необходимо отметить, что это открытие является высоко проблематичным, особенно на фоне непрозрачности в Facebook и других платформах – Google и Twitter. Бремя лежит на платформах, чтобы срочно и убедительно продемонстрировать, что они могут сдержать дискриминационные эффекты, такие как те, которые были обнаружены Али и др.. Коротко говоря, я не могу найти оправдание для продолжения использования персонализированной нацеливания рекламы в жилье, трудоустройстве и других областях, где жизнь и средства к существованию людей находятся под угрозой.

Как могут данные ученые и разработчики ИИ лучше предотвратить другие непреднамеренные предвзятости от проникновения в их системы?

Это не полностью зависит от данных ученых или любой одной группы заинтересованных сторон, чтобы обеспечить, что технические системы соответствуют социальным ценностям. Но данные ученые действительно находятся на переднем крае этой битвы. Как компьютерный ученый, я могу подтвердить привлекательность мысли о том, что системы, которые мы проектируем, являются “объективными”, “оптимальными” или “правильными”. Насколько успешны компьютерная наука и наука о данных – насколько влиятельны и широко используются – является и благословением, и проклятием. Мы, технологи, больше не имеем роскоши прятаться за недостижимыми целями объективности и правильности. Бремя лежит на нас, чтобы тщательно подумать о нашем месте в мире и просвещать себя о социальных и политических процессах, которые мы влияем. Общество не может позволить себе, чтобы мы двигались быстро и ломали вещи, мы должны замедлиться и подумать.

Это символично, что философия когда-то была центральной частью всех научных и общественных дискуссий, затем пришла математика, затем компьютерная наука. Теперь, с наукой о данных, занимающей центральное место, мы пришли полным кругом и нуждаемся в соединении с нашими философскими корнями.

Еще одним вашим рекомендацией является создание информированного общества. Как мы можем проинформировать общество, которое может не быть знакомо с ИИ или понимать проблемы, связанные с предвзятостью ИИ?

Существует острая необходимость просвещать не-технических людей о технологиях и просвещать технических людей о социальных последствиях. Достижение обеих этих целей потребует сильной приверженности и значительных инвестиций со стороны нашего правительства. Мы должны разработать материалы и методологии образования для всех этих групп и найти способы стимулировать участие. И мы не можем оставить эту работу коммерческим сущностям. Европейский Союз ведет путь, с несколькими правительствами, предоставляющими поддержку базового образования ИИ для своих граждан и включая курricula ИИ в программы средних школ. Мы в R/AI работаем над публично доступным и доступным курсом, направленным на создание вовлеченного общества, которое поможет сделать ИИ тем, чем мы хотим, чтобы он был. Мы очень рады этой работе, пожалуйста, следите за дальнейшей информацией в ближайшем месяце.

Спасибо за отличные подробные ответы, читатели, которые хотят узнать больше, должны посетить Центр Ответственного ИИ.