Prof. Julia Stoyanovich, Dyrektor Centrum dla Odpowiedzialnego Sztucznego Intelektu – Seria Wywiadów

Julia Stoyanovich, jest profesorem w Szkole Inżynierskiej Tandon Uniwersytetu Nowojorskiego i założycielem Dyrektorem Centrum dla Odpowiedzialnego Sztucznego Intelektu. Niedawno złożyła zeznania przed Komitetem ds. Technologii Rady Miejskiej Nowego Jorku w sprawie projektu ustawy, który regulowałby użycie sztucznego intelektu w procesach rekrutacji i zatrudnienia.

Jesteś założycielem Dyrektorem Centrum dla Odpowiedzialnego Sztucznego Intelektu na Uniwersytecie Nowojorskim. Czy mógłbyś podzielić się z nami niektórymi inicjatywami podejmowanymi przez tę organizację?

Współkieruję Centrum dla Odpowiedzialnego Sztucznego Intelektu (R/AI) na Uniwersytecie Nowojorskim z Stevenem Kuyanem. Steven i ja mamy uzupełniające się zainteresowania i doświadczenie. Jestem naukowcem, z wykształceniem w dziedzinie informatyki i z silnym zainteresowaniem pracą inspirowaną użyciem na styku inżynierii danych, odpowiedzialnej nauki o danych i polityki. Steven jest dyrektorem zarządzającym NYU Tandon Future Labs, sieci inkubatorów i akceleratorów startupów, które już miały znaczący wpływ gospodarczy na Nowym Jorku. Nasza wizja dla R/AI jest taka, aby pomóc uczynić “odpowiedzialny sztuczny intelekt” synonimem “sztucznego intelektu”, poprzez połączenie badań stosowanych, edukacji publicznej i zaangażowania, oraz pomocy firmom, dużym i małym – szczególnie małym – w rozwijaniu odpowiedzialnego sztucznego intelektu.

W ostatnich miesiącach R/AI aktywnie zaangażowało się w rozmowy na temat nadzoru systemów decyzyjnych (ADS). Nasze podejście opiera się na połączeniu działań edukacyjnych i zaangażowania politycznego.

Miasto Nowy Jork rozważa projekt ustawy Int 1894, który regulowałby użycie ADS w procesach rekrutacji poprzez połączenie audytu i ujawniania informacji publicznych. R/AI złożyło uwagi publiczne na temat projektu ustawy, oparte na naszych badaniach i spostrzeżeniach zebranych od osób poszukujących pracy za pomocą kilku działań zaangażowania publicznego.

Współpracowaliśmy z The GovLab na Uniwersytecie Nowojorskim i z Instytutem Etyki Sztucznego Intelektu na Politechnice Monachijskiej nad bezpłatnym kursem online pt. “Etyka sztucznego intelektu: perspektywy globalne”, który został uruchomiony w tym miesiącu.

Innym niedawnym projektem R/AI, który zwrócił uwagę, jest nasza seria komiksów “Dane, odpowiedzialnie”. Pierwszy tom serii nosi tytuł “Mirror, Mirror”, jest dostępny w języku angielskim, hiszpańskim i francuskim, oraz dostępny z czytnikiem ekranu we wszystkich trzech językach. Komiks otrzymał nagrodę Innowacja miesiąca od Metro Lab Network i GovTech, oraz został opisany w Toronto Star, wśród innych.

Jakie są niektóre z obecnych lub potencjalnych problemów związanych z uprzedzeniami sztucznego intelektu w procesach rekrutacji i zatrudnienia?

To złożone pytanie, które wymaga, abyśmy najpierw wyjaśnili, co mamy na myśli przez “uprzedzenia”. Kluczową rzeczą do zauważenia jest to, że zautomatyzowane systemy rekrutacji są “analiza predykcyjna” – przewidują przyszłość na podstawie przeszłości. Przeszłość jest reprezentowana przez dane historyczne o osobach, które zostały zatrudnione przez firmę, oraz o tym, jak te osoby radziły sobie. System jest następnie “wytrenowany” na tych danych, co oznacza, że identyfikuje wzorce statystyczne i używa ich do dokonywania przewidywań. Te wzorce statystyczne są “magią” sztucznego intelektu, na czym opierają się modele predykcyjne. Jasne, ale ważne, dane historyczne, z których te wzorce zostały wydobyte, są milczące o osobach, które nie zostały zatrudnione, ponieważ po prostu nie wiemy, jak by się radziły na stanowisku, które nie dostały. I to jest miejsce, w którym pojawiają się uprzedzenia. Jeśli systematycznie zatrudniamy więcej osób z określonych grup demograficznych i społeczno-ekonomicznych, to przynależność do tych grup i cechy, które są z tym związane, staną się częścią modelu predykcyjnego. Na przykład, jeśli widzimy tylko absolwentów najlepszych uczelni, którzy zostali zatrudnieni na stanowiskach kierowniczych, to system nie może nauczyć się, że osoby, które ukończyły inną szkołę, również mogą się sprawdzić. Łatwo zauważyć podobny problem w przypadku płci, rasy i niepełnosprawności.

Uprzedzenia w sztucznym inteleckie są znacznie szersze niż tylko uprzedzenia w danych. Pojawiają się one, gdy próbujemy użyć technologii, gdzie rozwiązanie techniczne jest po prostu niewłaściwe, lub gdy ustawiamy niewłaściwe cele dla sztucznego intelektu – często dlatego, że nie mamy różnorodnej grupy głosów przy stole projektowym, lub gdy zrzekamy się naszej agencji w interakcjach człowiek-sztuczny intelekt po wdrożeniu sztucznego intelektu. Każdy z tych powodów uprzedzeń zasługuje na odrębną dyskusję, która najprawdopodobniej potrwa dłużej niż przestrzeń w tym artykule. I tak, dla utrzymania skupienia, pozwólcie, że wrócę do uprzedzeń w danych.

Gdy wyjaśniam uprzedzenia w danych, lubię używać metafory odbicia lustrzanego. Dane są odbiciem świata, jego odbiciem lustrzanym. Gdy myślimy o uprzedzeniach w danych, badamy to odbicie. Jedna interpretacja “uprzedzeń w danych” jest taka, że odbicie jest zniekształcone – nasze lustro niedoreprezentuje lub nadreprezentuje niektóre części świata, lub w inny sposób zniekształca odczyty. Inna interpretacja “uprzedzeń w danych” jest taka, że nawet jeśli odbicie było 100% wiernym, nadal byłoby odbiciem świata takim, jaki jest dzisiaj, a nie takim, jakim mógłby lub powinien być. Ważne jest, że to nie dane ani algorytm mają powiedzieć nam, czy jest to idealne odbicie złamanego świata, czy złamane odbicie idealnego świata, czy te zniekształcenia się nakładają. To ludzie – osoby, grupy, społeczeństwo jako całość – muszą dojść do porozumienia, czy jesteśmy zadowoleni ze świata takim, jaki jest, czy, jeśli nie, jak powinniśmy go poprawić.

Wróćmy do analizy predykcyjnej: im większe są dysproporcje w danych, jako odbiciu przeszłości, tym bardziej prawdopodobne jest, że będą one podchwycone przez modele predykcyjne i powielone – a nawet nasilone – w przyszłości.

Jeśli naszym celem jest poprawienie praktyk rekrutacyjnych z uwzględnieniem równości i różnorodności, to po prostu nie możemy zlecić tej pracy maszynom. Musimy wykonać ciężką pracę identyfikacji prawdziwych przyczyn uprzedzeń w rekrutacji i zatrudnieniu, oraz negocjacji rozwiązania socjo-prawnego i technicznego z udziałem wszystkich zainteresowanych. Technologia ma rolę do odegrania w pomocy nam w poprawie status quo: może pomóc nam pozostać uczciwymi wobec naszych celów i wyników. Ale udawanie, że usunięcie uprzedzeń z danych lub modelu predykcyjnego rozwiąże głęboko zakorzenione problemy dyskryminacji w rekrutacji jest naiwne, wręcz najgorsze.

Niedawno złożyłeś zeznania przed Komitetem ds. Technologii Rady Miejskiej Nowego Jorku, jednym z uderzających komentarzy było następujące: “Stwierdzamy, że zarówno budżet reklamodawcy, jak i treść reklamy znacznie przyczyniają się do zniekształcenia dostarczania reklam na Facebooku. Krytycznie, obserwujemy znaczne zniekształcenie w dostarczaniu wzdłuż linii płci i rasowych dla ‘rzeczywistych’ reklam zatrudnienia i mieszkań pomimo neutralnych parametrów celowania.” Jakie są niektóre rozwiązania, aby uniknąć tego typu uprzedzeń?

Ten komentarz, który złożyłem, opiera się na genialnej pracy Ali i in. pt. “Dyskryminacja przez optymalizację: Jak dostarczanie reklam na Facebooku może prowadzić do tendencyjnych wyników.” Autorzy stwierdzają, że mechanizm dostarczania reklam sam w sobie jest odpowiedzialny za wprowadzanie i nasilanie skutków dyskryminacyjnych. Nie trzeba dodawać, że to odkrycie jest bardzo problematyczne, szczególnie na tle braku przejrzystości na platformach Facebook, Google i Twitter. Ciężar spoczywa na platformach, aby pilnie i przekonywająco udowodnić, że mogą powstrzymać skutki dyskryminacyjne, takie jak te, które znaleźli Ali i in. Krótko mówiąc, nie mogę znaleźć uzasadnienia dla dalszego używania personalizowanego targetowania reklam w dziedzinach zatrudnienia, mieszkań i innych, gdzie życie i utrzymanie ludzi są na szali.

Jak mogą najlepiej uniknąć niezamierzonych uprzedzeń w swoich systemach?

To nie tylko zależy od naukowców danych, czy jakiejkolwiek jednej grupy zainteresowanych, aby upewnić się, że systemy techniczne są zgodne z wartościami społecznymi. Ale naukowcy danych są na czele tej bitwy. Jako informatyk, mogę potwierdzić atrakcyjność myślenia, że systemy, które projektujemy, są “obiektywne”, “optymalne” lub “poprawne”. Jak bardzo udane są informatyka i nauka o danych – jak wpływowe i jak powszechnie używane – jest zarówno błogosławieństwem, jak i przekleństwem. Nie mamy już luksusu ukrywania się za nieosiągalnymi celami obiektywności i poprawności. Ciężar spoczywa na nas, aby uważnie rozważyć nasze miejsce w świecie i wyedukować się na temat procesów społecznych i politycznych, które wpływamy. Społeczeństwo nie może pozwolić nam na szybkie działanie i łamanie rzeczy, musimy zwolnić i rozważyć.

Jest symboliczne, że filozofia była kiedyś centralnym punktem wszystkich naukowych i społecznych dyskusji, potem przyszła matematyka, potem informatyka. Teraz, z nauką o danych na czele, wróciliśmy do punktu wyjścia i musimy ponownie połączyć się z naszymi korzeniami filozoficznymi.

Inną rekomendacją, którą złożyłeś, jest stworzenie poinformowanej społeczności. Jak możemy poinformować społeczność, która może nie być zaznajomiona ze sztucznym intelektem lub nie rozumie problemów związanych z uprzedzeniami sztucznego intelektu?

Istnieje pilna potrzeba edukowania osób niebędących specjalistami technicznymi o technologii oraz edukowania specjalistów technicznych o ich implikacjach społecznych. Osiągnięcie obu tych celów wymaga silnego zaangażowania i znaczących inwestycji ze strony naszego rządu. Musimy opracować materiały i metody edukacyjne dla wszystkich tych grup i znaleźć sposoby, aby zachęcić do udziału. I nie możemy pozostawić tej pracy komercyjnym podmiotom. Unia Europejska jest pionierem, z kilkoma rządami, które zapewniają wsparcie dla podstawowej edukacji sztucznego intelektu swoich obywateli i włączają programy sztucznego intelektu do programów szkół średnich. My w R/AI pracujemy nad dostępnym publicznie i ogólnie dostępnym kursem, mającym na celu stworzenie zaangażowanej społeczności, która pomoże uczynić sztuczny intelekt tym, czym CHCEMY, aby był. Jesteśmy bardzo podekscytowani tą pracą, prosimy o cierpliwość i więcej informacji w nadchodzącym miesiącu.

Dziękujemy za wspaniałe, szczegółowe odpowiedzi, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Centrum dla Odpowiedzialnego Sztucznego Intelektu.