Профессор Джулия Стоянович, Директор Центра Ответственного ИИ – Серия Интервью

Джулия Стоянович, является профессором в Школе Инженерии Тандона Нью-Йоркского Университета и основным Директором Центра Ответственного ИИ. Она недавно выступила с показаниями перед Комитетом по Технологиям Совета Нью-Йорка о предложенном законопроекте, который регулирует использование ИИ для принятия решений о приеме на работу и трудоустройстве.

Вы являетесь основным Директором Центра Ответственного ИИ в Нью-Йоркском Университете. Не могли бы вы поделиться с нами некоторыми инициативами, предпринятыми этой организацией?

Я являюсь со-директором Центра Ответственного ИИ (R/AI) в Нью-Йоркском Университете вместе со Стивеном Куяном. Стивен и я имеем взаимодополняющие интересы и экспертизу. Я являюсь академиком с компьютерным образованием и сильным интересом к вдохновленной работой на пересечении инженерии данных, ответственной науки о данных и политики. Стивен является управляющим директором NYU Tandon Future Labs, сети стартап-инкубаторов и акселераторов, которые уже оказали значительное экономическое влияние в Нью-Йорке. Наша видение для R/AI заключается в том, чтобы сделать “ответственный ИИ” синонимом “ИИ”, посредством комбинации прикладных исследований, общественного образования и участия, а также помощи компаниям большим и малым – особенно малым – в разработке ответственного ИИ.

За последние месяцы R/AI активно участвовал в обсуждениях вокруг надзора за автоматизированными системами принятия решений (ADS). Наш подход основан на комбинации образовательных мероприятий и участия в политике.

Город Нью-Йорк рассматривает предложенный закон Int 1894, который регулирует использование ADS в приеме на работу посредством комбинации аудита и публичного раскрытия информации. R/AI представил публичные комментарии к законопроекту, основанные на наших исследованиях и на информации, которую мы собрали от соискателей работы через несколько мероприятий по взаимодействию с общественностью.

Мы также сотрудничали с The GovLab в Нью-Йоркском Университете и с Институтом Этики ИИ в Техническом Университете Мюнхена над бесплатным онлайн-курсом под названием “Этика ИИ: Глобальные Перспективы“, который был запущен ранее этого месяца.

Другой недавний проект R/AI, который привлек значительное внимание, – это наша серия комиксов “Данные, Ответственно”. Первый том серии называется “Зеркало, Зеркало”, он доступен на английском, испанском и французском языках и доступен с помощью экрана-читателя на всех трех языках. Комикс получил награду “Инновация Месяца” от Metro Lab Network и GovTech и был освещен в Toronto Star, среди других.

Какие из текущих или потенциальных проблем с предвзятостью ИИ при принятии решений о приеме на работу и трудоустройстве?

Это сложный вопрос, который требует от нас сначала четко определить, что мы подразумеваем под “предвзятостью”. Ключевым моментом является то, что автоматизированные системы принятия решений о приеме на работу являются “предсказательными аналитиками” – они предсказывают будущее на основе прошлого. Прошлое представлено историческими данными об individuals, которые были приняты на работу компанией, и о том, как эти люди справились с работой. Система затем “обучается” на этих данных, определяя статистические закономерности и используя их для предсказаний. Эти статистические закономерности являются “магией” ИИ, на которой основаны предсказательные модели. Ясно, но важно, что исторические данные, из которых были извлечены эти закономерности, молчат о individuals, которые не были приняты на работу, потому что мы просто не знаем, как они бы справились с работой, на которую они не были приняты. И это где предвзятость вступает в игру. Если мы систематически принимаем на работу больше людей из определенных демографических и социально-экономических групп, то принадлежность к этим группам и характеристики, связанные с этой группой, станут частью предсказательной модели. Например, если мы видим только выпускников топ-университетов на руководящих должностях, то система не сможет выучить, что люди, которые посещали другой университет, также могут хорошо справиться с работой. Легко увидеть аналогичную проблему для пола, расы и статуса инвалидности.

Предвзятость в ИИ намного шире, чем просто предвзятость в данных. Она возникает, когда мы пытаемся использовать технологию, где техническое решение просто неуместно, или когда мы устанавливаем неправильные цели для ИИ – часто потому, что у нас нет разнообразного состава голосов за столом дизайна, или когда мы отказываемся от нашей агентности в взаимодействиях между людьми и ИИ после развертывания ИИ. Каждая из этих причин предвзятости заслуживает отдельного обсуждения, которое, вероятно, займет больше места, чем позволяет эта статья. Итак, ради сосредоточения внимания, я вернусь к предвзятости в данных.

Когда я объясняю предвзятость в данных, я люблю использовать метафору отражения в зеркале. Данные являются образом мира, его отражением в зеркале. Когда мы думаем о предвзятости в данных, мы исследуем это отражение. Одно толкование “предвзятости в данных” заключается в том, что отражение искажено – наше зеркало недопредставляет или перепредставляет некоторые части мира, или искажает показания. Другое толкование “предвзятости в данных” заключается в том, что, даже если отражение было 100% верным, оно все равно было бы отражением мира таким, какой он есть сегодня, а не того, каким он мог бы или должен быть. Важно, что не данные или алгоритм должны сказать нам, является ли это отражение идеальным отражением сломанного мира или сломанным отражением идеального мира, или если эти искажения усугубляются. Это зависит от людей – отдельных людей, групп, общества в целом – прийти к консенсусу о том, согласны ли мы с миром таким, какой он есть, или, если нет, как мы должны улучшить его.

Вернемся к предсказательной аналитике: чем сильнее расхождения в данных, как отражение прошлого, тем более вероятно, что они будут обнаружены предсказательными моделями, и будут воспроизведены – и даже усугублены – в будущем.

Если наша цель – улучшить наши практики приема на работу с учетом равенства и разнообразия, то мы просто не можем передать эту работу машинам. Мы должны сделать трудную работу по выявлению истинных причин предвзятости при приеме на работу и трудоустройстве, и вести переговоры о социально-правовом-техническом решении с учетом всех заинтересованных сторон. Технология, безусловно, играет роль в помощи нам улучшить статус-кво: она может помочь нам оставаться честными в отношении наших целей и результатов. Но притворяться, что обезвреживание данных или предсказательной аналитики решит глубокие проблемы дискриминации при приеме на работу – это наивно, по крайней мере.

Вы недавно выступили с показаниями перед Комитетом по Технологиям Совета Нью-Йорка, одно из ваших замечательных замечаний было следующим: “Мы обнаружили, что как бюджет рекламодателя, так и содержание рекламы существенно способствуют отклонению доставки рекламы Facebook (META ). Критически, мы наблюдаем существенное отклонение в доставке по гендерным и расовым линиям для ‘реальных’ рекламных объявлений о приеме на работу и жилье, несмотря на нейтральные параметры нацеливания.” Какие есть решения, чтобы избежать такого рода предвзятости?

Это замечание, которое я сделал, основано на блестящей статье Али и др. под названием “Дискриминация через Оптимизацию: Как механизм доставки рекламы Facebook может привести к предвзятым результатам.” Авторы обнаружили, что сам механизм доставки рекламы является причиной введения и усиления дискриминационных эффектов. Несомненно, это открытие является высоко проблематичным, особенно на фоне не透pareнности на Facebook и других платформах – Google (GOOGL ) и Twitter. Бремя лежит на платформах, чтобы срочно и убедительно продемонстрировать, что они могут сдержать дискриминационные эффекты, такие как те, которые были обнаружены Али и др.. Коротко говоря, я не могу найти оправдание для продолжения использования персонализированного нацеливания рекламы в жилье, трудоустройстве и других областях, где жизнь и средства к существованию людей находятся под угрозой.

Как могут ученые-данные и разработчики ИИ лучше предотвратить другие непреднамеренные предвзятости от проникновения в их системы?

Это не полностью зависит от ученых-данных или от любой другой группы заинтересованных сторон, чтобы гарантировать, что технические системы соответствуют социальным ценностям. Но ученые-данные, действительно, находятся на переднем крае этой битвы. Как компьютерный ученый, я могу подтвердить привлекательность мысли о том, что системы, которые мы проектируем, являются “объективными”, “оптимальными” или “правильными”. Насколько успешны компьютерная наука и наука о данных – насколько влиятельны и широко используются – это и благословение, и проклятие. Мы, технологи, больше не имеем возможности скрываться за недостижимыми целями объективности и правильности. Бремя лежит на нас, чтобы тщательно подумать о нашем месте в мире и образовать себя о социальных и политических процессах, которые мы влияем. Общество не может позволить себе, чтобы мы двигались быстро и ломали вещи; мы должны замедлиться и подумать.

Символично, что философия когда-то была центральной частью всех научных и общественных дискуссий, затем пришла математика, затем компьютерная наука. Теперь, с наукой о данных на переднем крае, мы пришли полным кругом и нуждаемся в соединении с нашими философскими корнями.

Другое ваше рекомендация – создание информированного общества. Как мы можем проинформировать общество, которое может не быть знакомо с ИИ или понимать проблемы, связанные с предвзятостью ИИ?

Существует острая необходимость в образовании не-технических людей о технологиях и в образовании технических людей о социальных последствиях. Достижение обеих этих целей потребует сильной приверженности и существенных инвестиций со стороны нашего правительства. Мы должны разработать материалы и образовательные методологии для всех этих групп и найти способы стимулировать участие. И мы не можем оставить эту работу на коммерческих предприятиях. Европейский Союз ведет путь, с несколькими правительствами, предоставляющими поддержку базового образования ИИ для своих граждан и включая курсы ИИ в программы средних школ. Мы в R/AI работаем над публично доступным и широко доступным курсом, направленным на создание вовлеченного общества, которое поможет сделать ИИ тем, что мы хотим. Мы очень рады этой работе; пожалуйста, следите за дополнительной информацией в ближайший месяц.

Спасибо за великолепные подробные ответы. Читателям, которые хотят узнать больше, следует посетить Центр Ответственного ИИ.