Prof. Julia Stoyanovich, Dyrektor Centrum ds. Odpowiedzialnego Sztucznego Intelektu – Seria Wywiadów

Julia Stoyanovich, jest profesorem na Wydziale Inżynierii Tandon Uniwersytetu Nowojorskiego oraz założycielem i dyrektorem Centrum ds. Odpowiedzialnego Sztucznego Intelektu. Niedawno złożyła zeznania przed Komisją ds. Technologii Rady Miejskiej Nowego Jorku w sprawie projektu ustawy, która regulowałaby użycie sztucznego intelektu w procesach zatrudniania i podejmowania decyzji związanych z zatrudnieniem.

Jesteś założycielem i dyrektorem Centrum ds. Odpowiedzialnego Sztucznego Intelektu na Uniwersytecie Nowojorskim. Czy mógłbyś podzielić się z nami niektórymi inicjatywami podejmowanymi przez tę organizację?

Prowadzę Centrum ds. Odpowiedzialnego Sztucznego Intelektu (R/AI) na Uniwersytecie Nowojorskim wraz z Stevenem Kuyanem. Steven i ja mamy uzupełniające się zainteresowania i doświadczenie. Jestem naukowcem, z wykształceniem w dziedzinie informatyki i silnym zainteresowaniem pracą inspirowaną przez potrzeby na styku inżynierii danych, odpowiedzialnej nauki o danych i polityki. Steven jest dyrektorem zarządzającym NYU Tandon Future Labs, sieci inkubatorów i akceleratorów startupów, które miały już znaczący wpływ ekonomiczny na terenie Nowego Jorku. Nasza wizja dla R/AI polega na tym, aby uczynić “odpowiedzialny sztuczny intelekt” synonimem “sztucznego intelektu”, poprzez połączenie badań stosowanych, edukacji publicznej i zaangażowania, oraz pomocy firmom, dużym i małym, zwłaszcza małym, w rozwijaniu odpowiedzialnego sztucznego intelektu.

W ostatnich miesiącach R/AI aktywnie zaangażowało się w rozmowy dotyczące nadzoru systemów decyzyjnych (ADS). Nasze podejście opiera się na połączeniu działań edukacyjnych i zaangażowania w politykę.

Nowy Jork rozważa projekt ustawy, Int 1894, który regulowałby użycie ADS w procesach zatrudniania poprzez połączenie audytu i ujawniania informacji publicznych. R/AI złożyło uwagi publiczne na temat projektu ustawy, oparte na naszych badaniach i spostrzeżeniach, które uzyskaliśmy od osób poszukujących pracy poprzez kilka działań zaangażowania publicznego.

Współpracowaliśmy również z The GovLab na Uniwersytecie Nowojorskim oraz z Instytutem Etyki Sztucznego Intelektu na Politechnice Monachijskiej nad bezpłatnym kursem online pt. „Etyka sztucznego intelektu: perspektywy globalne”, który został uruchomiony na początku tego miesiąca.

Inny niedawny projekt R/AI, który zwrócił uwagę, to nasza seria komiksów „Dane, odpowiedzialnie”. Pierwszy tom serii nosi tytuł „Lustro, lustro”, jest dostępny w języku angielskim, hiszpańskim i francuskim oraz dostępny z czytnikiem ekranu we wszystkich trzech językach. Komiks otrzymał nagrodę Innowacja miesiąca od Metro Lab Network i GovTech, a także został opisany w The Toronto Star, wśród innych.

Jakie są obecne lub potencjalne problemy związane z uprzedzeniami sztucznego intelektu w procesach zatrudniania i podejmowania decyzji związanych z zatrudnieniem?

To jest złożone pytanie, które wymaga od nas, abyśmy najpierw wyjaśnili, co rozumiemy przez “uprzedzenia”. Kluczowa rzecz do zauważenia jest taka, że automatyczne systemy rekrutacyjne są “analizą predykcyjną” – przewidują przyszłość na podstawie przeszłości. Przeszłość jest reprezentowana przez historyczne dane o osobach, które zostały zatrudnione przez firmę, oraz o tym, jak te osoby radziły sobie w pracy. System jest następnie “wytrenowany” na tych danych, co oznacza, że identyfikuje wzorce statystyczne i używa ich do dokonywania przewidywań. Te wzorce statystyczne są “magią” sztucznego intelektu, na których opierają się modele predykcyjne. Jest oczywiste, ale ważne, że historyczne dane, z których pochodzą te wzorce, milczą o osobach, które nie zostały zatrudnione, ponieważ po prostu nie wiemy, jak by się sprawowały w pracy, której nie otrzymały. I tu pojawiają się uprzedzenia.

Uprzedzenia w sztucznym intelekcie są znacznie szersze niż tylko uprzedzenia w danych. Pojawiają się one, gdy próbujemy używać technologii w sytuacjach, w których rozwiązanie techniczne jest po prostu niewłaściwe, lub gdy ustawiamy niewłaściwe cele dla sztucznego intelektu – często dlatego, że nie mamy różnorodnej grupy głosów przy stole projektowym, lub gdy zrzekamy się naszej agencji w interakcjach człowiek-sztuczny intelekt po wdrożeniu sztucznego intelektu. Każdy z tych powodów uprzedzeń zasługuje na odrębną dyskusję, która prawdopodobnie potrwa dłużej niż przestrzeń w tym artykule. I tak, dla utrzymania skupienia, wrócę do uprzedzeń w danych.

Gdy wyjaśniam uprzedzenia w danych, lubię używać metafory odbicia lustrzanego. Dane są odbiciem świata, jego lustrzanym odbiciem. Gdy myślimy o uprzedzeniach w danych, badamy to odbicie. Jedna interpretacja “uprzedzeń w danych” jest taka, że odbicie jest zniekształcone – nasze lustro niedoreprezentuje lub nadreprezentuje niektóre części świata, lub w inny sposób zniekształca odczyty. Inna interpretacja “uprzedzeń w danych” jest taka, że nawet gdyby odbicie było 100% wiernym, nadal byłoby odbiciem świata takim, jaki jest dzisiaj, a nie takim, jakim powinien być. Ważne jest, że to nie dane ani algorytm powinny nam powiedzieć, czy mamy do czynienia z idealnym odbiciem złamanego świata, czy z złamanym odbiciem idealnego świata, czy te zniekształcenia się nakładają. To ludzie – jednostki, grupy, społeczeństwo jako całość – muszą dojść do porozumienia, czy akceptujemy świat takim, jaki jest, czy nie, i jeśli nie, jak powinniśmy go poprawiać.

Wróćmy do analizy predykcyjnej: im większe są dysproporcje w danych, jako odbiciu przeszłości, tym bardziej prawdopodobne jest, że zostaną one wykryte przez modele predykcyjne i powielone – a nawet nasilone – w przyszłości.

Jeśli naszym celem jest poprawienie praktyk zatrudniania z uwzględnieniem równości i różnorodności, to po prostu nie możemy zlecić tej pracy maszynom. Musimy wykonać ciężką pracę identyfikacji prawdziwych przyczyn uprzedzeń w zatrudnianiu i podejmowaniu decyzji związanych z zatrudnieniem, oraz negocjacji rozwiązania socjo-prawniczego z udziałem wszystkich zainteresowanych. Technologia ma rolę do odegrania w pomocy nam w poprawie status quo, może pomóc nam pozostać uczciwymi wobec naszych celów i wyników. Ale udawanie, że usunięcie uprzedzeń z danych lub z analizy predykcyjnej rozwiąże głęboko zakorzenione problemy dyskryminacji w zatrudnianiu, jest naiwne, wręcz najgorsze.

Niedawno złożyłeś zeznania przed Komisją ds. Technologii Rady Miejskiej Nowego Jorku, jeden z Twoich komentarzy brzmiał: “Stwierdzamy, że zarówno budżet reklamodawcy, jak i treść reklamy znacznie przyczyniają się do zniekształcenia dostarczania reklam na Facebooku. Krytycznie, obserwujemy znaczne zniekształcenie w dostarczaniu wzdłuż linii płci i rasowych dla ‘rzeczywistych’ reklam zatrudnienia i mieszkań, pomimo neutralnych parametrów targetowania.” Jakie są rozwiązania, aby uniknąć tego rodzaju uprzedzeń?

Ten komentarz, który złożyłem, opiera się na genialnej pracy Ali i innych pt. “Dyskryminacja przez optymalizację: Jak dostarczanie reklam na Facebooku może prowadzić do tendencyjnych wyników.” Autorzy stwierdzają, że mechanizm dostarczania reklam sam w sobie jest odpowiedzialny za wprowadzanie i nasilanie skutków dyskryminacyjnych. Nie trzeba dodawać, że to odkrycie jest bardzo problematyczne, zwłaszcza na tle braku przejrzystości na platformach takich jak Facebook (META ), Google (GOOGL ) i Twitter. Ciężar spoczywa na platformach, aby pilnie i przekonywająco udowodnić, że mogą one powstrzymać skutki dyskryminacyjne, takie jak te, które znalazł Ali i inni. Krótko mówiąc, nie mogę znaleźć uzasadnienia dla dalszego używania ukierunkowanego targetowania reklam w dziedzinach takich jak zatrudnienie i mieszkania, gdzie życie i utrzymanie ludzi są na szali.

Jak naukowcy danych i deweloperzy sztucznego intelektu mogą najlepiej zapobiec innym niezamierzonym uprzedzeniom, które mogą przeniknąć do ich systemów?

Nie jest to w całości odpowiedzialność naukowców danych, czy jakiejkolwiek innej grupy zainteresowanych, aby upewnić się, że systemy techniczne są zgodne z wartościami społecznymi. Ale naukowcy danych są na czele tej bitwy. Jako sam naukowiec komputerowy, mogę potwierdzić atrakcyjność myślenia, że systemy, które projektujemy, są “obiektywne”, “optymalne” lub “poprawne”. Jak bardzo udane są nauka komputerowa i nauka o danych – jak wpływowe i jak powszechnie stosowane – jest zarówno błogosławieństwem, jak i przekleństwem. Nie mamy już luksusu ukrywania się za nieosiągalnymi celami obiektywności i poprawności. Ciężar spoczywa na nas, aby uważnie myśleć o naszym miejscu w świecie i edukować się na temat procesów społecznych i politycznych, które wpływamy.

Symboliczne jest to, że filozofia była kiedyś centralnym punktem wszystkich naukowych i społecznych dyskusji, potem przyszła matematyka, potem nauka komputerowa. Teraz, z nauką o danych na czele, wróciliśmy do punktu wyjścia i musimy ponownie połączyć się z naszymi filozoficznymi korzeniami.

Inna Twoja rekomendacja dotyczyła tworzenia świadomej publiczności. Jak możemy poinformować publiczność, która może nie być zaznajomiona ze sztucznym intelektem lub nie rozumie problemów związanych z uprzedzeniami sztucznego intelektu?

Istnieje pilna potrzeba edukowania osób niebędących specjalistami z dziedziny technologii o technologii, oraz edukowania specjalistów z dziedziny technologii o implikacjach społecznych. Osiągnięcie obu tych celów wymaga silnego zaangażowania i znaczących inwestycji ze strony naszego rządu. Musimy opracować materiały i metody edukacyjne dla wszystkich tych grup i znaleźć sposoby, aby zachęcić do udziału. Nie możemy pozostawić tej pracy komercyjnym podmiotom. Unia Europejska jest pionierem na tym polu, z kilkoma rządami, które zapewniają wsparcie dla podstawowej edukacji sztucznego intelektu swoich obywateli, oraz włączają programy nauczania sztucznego intelektu do programów szkół średnich. My w R/AI pracujemy nad dostępnym publicznie i kursami sztucznego intelektu dla wszystkich, aby stworzyć zaangażowaną publiczność, która pomoże uczynić sztuczny intelekt tym, czym chcemy, aby był. Jesteśmy bardzo podekscytowani tą pracą, proszę czekać na więcej informacji w nadchodzącym miesiącu.

Dziękuję za wspaniałe, szczegółowe odpowiedzi. Czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Centrum ds. Odpowiedzialnego Sztucznego Intelektu.