Професор Юлія Стойанович, директор Центру відповідальної штучної інтелектуальної системи – Серія інтерв’ю

Юлія Стойанович, є професором школи інженерії Тандона Нью-Йоркського університету та засновником-директором Центру відповідальної штучної інтелектуальної системи. Вона недавно давала свідчення комісії з технологій Ради міста Нью-Йорка щодо пропонованого законопроєкту, який би регулював використання штучної інтелектуальної системи для прийняття рішень щодо прийому на роботу та зайнятості.

Ви є засновником-директором Центру відповідальної штучної інтелектуальної системи в Нью-Йоркському університеті. Чи можете Ви поділитися з нами деякими ініціативами, які були здійснені цією організацією?

Я спільно керую Центром відповідальної штучної інтелектуальної системи (R/AI) в Нью-Йоркському університеті зі Стівеном Куяном. Стівен і я маємо взаємодоповнюючі інтереси та експертизу. Я є академіком з комп’ютерним науковим походженням та сильним інтересом до використання даних, відповідальної науки про дані та політики. Стівен є виконавчим директором NYU Tandon Future Labs, мережі інкубаторів та акселераторів стартапів, які вже мали значний економічний вплив у Нью-Йорку. Наша мета для R/AI – зробити “відповідальну штучну інтелектуальну систему” синонімом “штучної інтелектуальної системи” через комбінацію прикладних досліджень, публічної освіти та залучення, а також шляхом допомоги компаніям великим і малим – особливо малим – у розвитку відповідальної штучної інтелектуальної системи.

За останні місяці, R/AI активно займалася розмовами навколо нагляду за автоматизованими системами прийняття рішень (ADS). Наш підхід базується на комбінації освітніх заходів та політики.

Місто Нью-Йорк розглядає запропонований закон Int 1894, який би регулював використання ADS при прийомі на роботу через комбінацію аудиту та публічної інформації. R/AI надіслала публічні коментарі щодо законопроєкту, засновані на наших дослідженнях та на висновках, які ми отримали від тих, хто шукає роботу, через кілька публічних заходів.

Ми також співпрацювали з The GovLab в Нью-Йоркському університеті та з Інститутом етики штучної інтелектуальної системи в Технічному університеті Мюнхена над безкоштовним онлайн-курсом під назвою “Етика штучної інтелектуальної системи: глобальні перспективи“, який був запущений на початку цього місяця.

Інший недавній проект R/AI, який привернув значну увагу, – це наш серій коміксів “Дані, відповідально”. Перший том серії називається “Дзеркало, дзеркало”, він доступний англійською, іспанською та французькою мовами та доступний з екранним читачем у всіх трьох мовах. Комікс отримав нагороду Інновація місяця від Metro Lab Network і GovTech, і був висвітлений у Toronto Star, серед інших.

Які деякі поточні або потенційні проблеми з упередженням штучної інтелектуальної системи при прийомі на роботу та прийнятті рішень щодо зайнятості?

Це складне питання, яке вимагає від нас спочатку бути чіткими щодо того, що ми розуміємо під “упередженням”. Ключова річ, яку потрібно пам’ятати, полягає в тому, що автоматизовані системи прийняття рішень щодо прийому на роботу – це “передбачувальна аналітика” – вони передбачають майбутнє на основі минулого. Минуле представлено історичними даними про осіб, які були прийняті на роботу компанією, та про те, як ці особи виконували свою роботу. Система потім “навчиться” на цих даних, тобто ідентифікує статистичні закономірності та використовує їх для передбачення. Ці статистичні закономірності – це “магія” штучної інтелектуальної системи, на чому базуються передбачувальні моделі. Чітко, але важливо, історичні дані, з яких ці закономірності були видобуті, мовчазні щодо осіб, які не були прийняті на роботу, оскільки ми просто не знаємо, як вони б виконали свою роботу, якщо б були прийняті. І саме тут упередження вступає в гру. Якщо ми систематично приймаємо на роботу більше осіб з певних демографічних та соціально-економічних груп, то членство в цих групах та характеристики, які супроводжують це членство, стануть частиною передбачувальної моделі. Наприклад, якщо ми бачимо лише випускників топ-університетів на керівних посадах, то система не може навчитися, що люди, які закінчили інші університети, також можуть добре виконувати свою роботу. Легко побачити подібну проблему щодо статі, раси та інвалідності.

Упередження в штучній інтелектуальної системі набагато ширше, ніж лише упередження в даних. Воно виникає, коли ми намагаємося використовувати технологію, де технічне рішення просто недопустиме, або коли ми встановлюємо неправильні цілі для штучної інтелектуальної системи – часто тому, що в нас немає різноманітних голосів за столом дизайну, або коли ми відмовляємося від своєї агентності в взаємодії людини та штучної інтелектуальної системи після розгортання штучної інтелектуальної системи. Кожна з цих причин упередження заслуговує на окреме обговорення, яке, ймовірно, займе більше місця, ніж дозволяє цей статті. І тому, заради концентрації уваги, дозвольте мені повернутися до упередження в даних.

Коли я пояснюю упередження в даних, мені подобається використовувати метафору дзеркального відображення. Дані – це зображення світу, його дзеркальне відображення. Коли ми думаємо про упередження в даних, ми розслідуємо це відображення. Одне тлумачення “упередження в даних” полягає в тому, що відображення спотворене – наше дзеркало недооцінює або надоцінює деякі частини світу, або інакше спотворює показання. Інше тлумачення “упередження в даних” полягає в тому, що навіть якщо відображення було б 100% вірним, воно все одно було б відображенням світу таким, яким він є сьогодні, а не таким, яким він міг би бути або мав би бути. Важливо, що не дані чи алгоритм повинні сказати нам, чи це ідеальне відображення розбитого світу, чи розбите відображення ідеального світу, чи ці спотворення посилюються. Це залежить від людей – окремих осіб, груп, суспільства в цілому – досягти консенсусу щодо того, чи ми задоволені світом таким, яким він є, чи, якщо ні, як ми повинні покращити його.

Повертаючись до передбачувальної аналітики: чим сильніше розбіжності в даних, як відображення минулого, тим більш ймовірно, що вони будуть виявлені передбачувальними моделями, і тим більше вони будуть репліковані – і навіть посилюватися – в майбутньому.

Якщо我们的 мета – покращити наші практики прийому на роботу з оглядом на рівність та різноманітність, то ми просто не можемо передати цю роботу машинам. Ми повинні зробити важку роботу з ідентифікації справжніх причин упередження при прийомі на роботу та зайнятості та провести соціально-правове-технічне рішення з урахуванням усіх зацікавлених сторін. Технологія, безумовно, має свою роль у допомозі нам покращити статус-кво: вона може допомогти нам залишатися чесними щодо наших цілей та результатів. Але вважати, що видалення упередження з даних або передбачувальної аналітики вирішить глибоко вкорінені проблеми дискримінації при прийомі на роботу, – наївно, якщо не гірше.

Ви недавно давали свідчення комісії з технологій Ради міста Нью-Йорка, одна з ваших виступів була наступною: “Ми виявили, що як бюджет рекламодавця, так і зміст реклами суттєво впливають на зміщення доставки реклами Facebook (META ). Критично, ми спостерігаємо значне зміщення доставки за лінією статі та раси для “реальних” рекламних оголошень про можливості зайнятості та житла, незважаючи на нейтральні параметри націлювання”. Які деякі рішення для уникнення такого упередження?

Цей коментар, який я зробила, заснований на блискучій статті Алі та ін. під назвою “Дискримінація через оптимізацію: Як доставка реклами Facebook може привести до упереджених результатів”. Автори виявили, що механізм доставки реклами сам по собі відповідає за введення та посилення дискримінаційних ефектів. Безумовно, це відкриття дуже проблематичне, особливо на тлі непрозорості в Facebook та інших платформах – Google (GOOGL ) та Twitter. Бурден лежить на платформах, щоб терміново та переконливо продемонструвати, що вони можуть приборкати дискримінаційні ефекти, такі як ті, які були виявлені Алі та ін.. Коротко кажучи, я не можу знайти виправдання для подальшого використання персоналізованого націлювання реклами в сфері зайнятості, житла та інших галузей, де життя та засоби до існування людей знаходяться під загрозою.

Як дані вчені та розробники штучної інтелектуальної системи можуть найкраще запобігти іншому непередбаченому упередженню, яке може проникнути в їхні системи?

Це не повністю залежить від даних вчених чи будь-якої іншої групи зацікавлених сторін, щоб гарантувати, що технічні системи відповідають суспільним цінностям. Але дані вчені, безумовно, знаходяться на передовій цієї битви. Як комп’ютерний вчений, я можу засвідчити привабливість думки про те, що системи, які ми проектуємо, є “об’єктивними”, “оптимальними” чи “правильними”. Наскільки успішна комп’ютерна наука та наука про дані – наскільки впливовими та широко використовуваними вони є – це і благословення, і прокляття. Ми, технологи, більше не маємо розкоші ховатися за нездійсненними цілями об’єктивності та правильності. Бурден лежить на нас, щоб ретельно подумати про наше місце у світі та освіту щодо соціальних та політичних процесів, які ми впливаємо. Суспільство не може собі дозволити, щоб ми рухалися швидко та ламали речі; нам потрібно сповільнитися та подумати.

Символічно, що філософія колись була центральною частиною всіх наукових та суспільних дискусій, потім прийшла математика, потім комп’ютерна наука. Тепер, з наукою про дані на центральній сцені, ми повернулися до початку та потребуємо з’єднання з нашими філософськими коріннями.

Інша ваша рекомендація полягає в створенні інформованої громадськості. Як ми можемо інформувати громадськість, яка може не бути знайома зі штучною інтелектуальною системою або не розуміти проблем, пов’язаних з упередженням штучної інтелектуальної системи?

Є гостра необхідність у освіті нектехнічних людей щодо технологій та освіті технічних людей щодо їхніх соціальних наслідків. Досягнення цих двох цілей вимагатиме сильної приверженості та суттєвих інвестицій з боку нашого уряду. Нам потрібно розробити матеріали та освітні методи для всіх цих груп та знайти способи заохотити участь. І ми не можемо залишити цю роботу комерційним підприємствам. Європейський Союз веде шлях, з кількома урядами, які надають підтримку для базової освіти штучної інтелектуальної системи для своїх громадян та включення навчальних програм штучної інтелектуальної системи до шкільних програм. Ми в R/AI працюємо над відкритим та широко доступним курсом, спрямованим на створення залученої громадськості, яка допоможе зробити штучну інтелектуальну систему тим, чим ми хочемо її бачити. Ми дуже раді цій роботі; будь ласка, слідкуйте за додатковою інформацією в наступному місяці.

Дякую за великі детальні відповіді; читачам, які бажають дізнатися більше, слід відвідати Центр відповідальної штучної інтелектуальної системи.