AI nie eliminuje ludzkich uprzedzeń. Zwiększa ich skalę.

AI często przedstawia się jako sposób na podejmowanie bardziej obiektywnych decyzji: wystarczy, jak się uważa, wyeliminować ludzki osąd, a znikną ludzkie uprzedzenia. Coraz więcej badań podważa to przekonanie.

Systemy AI uczą się na podstawie ludzkiej historii. Trenuje się je na naszych decyzjach, naszym języku, naszych instytucjach i — nieuchronnie — naszych martwych polach. Gdy takie systemy selekcjonują kandydatów, przydzielają świadczenia zdrowotne lub oceniają pracowników, mogą powielać te uprzedzenia w skali i tempie, którym nie dorównałby żaden człowiek.

Większym problemem jest to, że podejmowane decyzje wyglądają na neutralne. Pojawia się wynik. Wyświetla się ranking. System generuje rekomendację. Nie widać śladów założeń, które za nimi stoją, a nikt obecny przy podejmowaniu decyzji nie musi czuć się odpowiedzialny za jej rezultat.

Dlatego uprzedzenia w AI nie są przede wszystkim problemem modelu, lecz kwestią zarządzania. Model można ponownie wytrenować, ale trudniejsze pytania dotyczą organizacji: kto odpowiada za każdą decyzję, na co optymalizowany jest system i kto ma prawo go zakwestionować.

Ludzkie uprzedzenia trafiają do AI, a potem wracają z maszynową prędkością

Mechanizm nie jest tajemniczy. Modele dopasowują wzorce statystyczne do danych treningowych, a gdy historyczne wyniki — kto został zatrudniony, a komu udzielono opieki — już odzwierciedlają dyskryminację, cel, którego model uczy się przewidywać, jest od początku obciążony. Najnowsze badania pokazują, jak łatwo dochodzi do tego w przypadku różnych dostawców i zadań:

• Rekrutacja na dużą skalę. Analiza Uniwersytetu Stanforda obejmująca 4 miliony rzeczywistych podań o pracę wykazała, że 26% czarnoskórych kandydatów i 15% kandydatów pochodzenia azjatyckiego ubiegało się o stanowiska, przy których system AI dyskryminował osoby z ich grupy rasowej. Modele uczyły się na podstawie dziesięcioleci ludzkich decyzji rekrutacyjnych.
• Ranking CV. Badacze z University of Washington ocenili ponad 550 rzeczywistych CV przy użyciu współczesnych modeli językowych. Ustalili, że w 85% przypadków modele faworyzowały imiona i nazwiska kojarzone z osobami białymi, podczas gdy imiona i nazwiska czarnoskórych mężczyzn rzadko wybierały jako preferowane.
• Komunikacja w miejscu pracy. Badanie Johns Hopkins opublikowane na początku tego roku wykazało, że GPT-4, Llama, Gemma i Mistral tworzyły mniej zaawansowane i mniej formalne e-maile służbowe, gdy polecenia zawierały wzorce językowe częściej kojarzone z kobietami.

Gdy taki system zostaje wdrożony, te wzorce przestają być cechą danych treningowych, a stają się elementem codziennych decyzji.

Prawdziwe zagrożenie tkwi w skali i milczeniu

Stronniczy rekruter może w ciągu roku przejrzeć setki CV. Stronniczy system selekcji może w ciągu jednej nocy przetworzyć miliony zgłoszeń, stosując tę samą błędną logikę w każdym przypadku. Stronnicza decyzja człowieka często jest odosobnionym zdarzeniem; stronnicze decyzje modelu mogą szybko stać się zasadą.

Opieka zdrowotna dostarcza jednego z najbardziej wyrazistych przykładów. Szeroko stosowany algorytm, który miał wpływ na miliony pacjentów, zaprojektowano tak, by wskazywał osoby, które skorzystałyby z dodatkowej opieki. Oceniał czarnoskórych pacjentów jako zdrowszych niż równie chorzy biali pacjenci. Nikt nie zaprogramował w nim rasistowskiej reguły. Algorytm wykorzystywał wydatki na opiekę zdrowotną jako wskaźnik zapotrzebowania na pomoc medyczną. Ponieważ czarnoskórzy pacjenci historycznie otrzymywali mniej świadczeń, a tym samym generowali niższe wydatki, algorytm uznawał niższe wydatki za oznakę lepszego zdrowia. Zgodnie z analizą badaczy opublikowaną w Science, skorygowanie tej jednej decyzji projektowej zwiększyłoby odsetek czarnoskórych pacjentów zakwalifikowanych do dodatkowej pomocy z 17,7% do 46,5%.

Systemy AI nie tylko odzwierciedlają wskaźniki, które im wyznaczamy — odzwierciedlają także założenia, na których te wskaźniki się opierają. Ludzkie uprzedzenia są równie realne; po prostu trudniej je dostrzec i sprawdzić. Dlatego rozwiązaniem jest lepsze zarządzanie, a nie rezygnacja z automatyzacji.

Uwzględnij odpowiedzialność w procesie podejmowania decyzji

Standardowe podejście do wdrażania AI polega na wyborze modelu, zintegrowaniu go z procesem pracy, monitorowaniu jego skuteczności i stopniowym ulepszaniu. Gdy wyniki działania systemu wpływają na ludzi, to nie wystarczy.

Alternatywę nazywam integracją zamiast samego wdrożenia: odpowiedzialny za decyzję człowiek uczestniczy w niej na bieżąco i ma rzeczywiste uprawnienia, by ją zmienić, zamiast przeglądać po fakcie pulpity z danymi raz na kwartał. Podejście to obejmuje trzy kroki:

1. Określ wszystkie decyzje, które AI obecnie wstępnie ocenia, punktuje lub zatwierdza, i wyznacz konkretną osobę odpowiedzialną za każdą z nich.
2. Przeprowadź audyt danych historycznych, na których opiera się model, zanim staną się podstawą polityki.
3. Umożliwiaj bezpieczne podważanie decyzji modelu i śledź odsetek takich przypadków.

Najważniejszy jest trzeci krok. Jeśli pracownicy nauczą się, że sprzeciw wobec maszyny zostanie uznany za błąd, przestaną się jej sprzeciwiać, a AI stanie się faktycznym decydentem, choć formalnie człowiek nadal pozostanie „w pętli”. Pytanie nie brzmi, czy człowiek ma ostatnie słowo. Chodzi o to, czy ma uprawnienia, informacje i poczucie bezpieczeństwa psychologicznego potrzebne, by powiedzieć: „Maszyna się myli”.

Ponowne trenowanie pomaga, ale uprzedzenia przenikają do systemu przez decyzje: na co optymalizuje się model, które dane są brane pod uwagę i kto sprawdza wyniki. Właśnie na tym należy się skupić. Potrzebni są też liderzy ds. AI, którzy potrafią zapytać, dlaczego system uszeregował coś w określony sposób, i mają możliwość podjęcia działań na podstawie odpowiedzi.

Wskaźnik przypadków, w których ludzie zmieniają decyzje systemu, jest przydatny, bo można go różnie interpretować. Jeśli ludzie niemal nigdy nie zmieniają decyzji systemu, być może po prostu działa on trafnie. A może nauczyli się, że sprzeciwianie się nie jest bezpieczne. Jeśli decyzje systemu zmieniają tylko osoby na wyższych stanowiskach, młodsi pracownicy mogli nauczyć się milczeć, choć często to oni mają najbliższy kontakt z wynikami i osobami, których te wyniki dotyczą. Celem nie jest wyeliminowanie takich przypadków. Chodzi o kulturę, w której dobrze uzasadniona zmiana decyzji systemu świadczy o tym, że system działa prawidłowo. Gdy ktoś zmieni decyzję modelu i okaże się, że miał rację, opowiadaj o tym szeroko. To może być najlepszy materiał szkoleniowy dotyczący AI, jaki kiedykolwiek stworzy Twoja firma.

Sprawdzaj wyniki, a nie intencje

Organizacje nie muszą czekać na poważną awarię, by zacząć wykrywać stronniczość. Już teraz można przeprowadzić trzy testy:

1. Kontrolowane porównanie. Wykonaj to samo zadanie, zmieniając wyłącznie sygnał demograficzny, na przykład imię i nazwisko w CV albo dialekt, w którym sformułowano polecenie. Pozostałe elementy, w tym szablon polecenia i kolejność danych wejściowych, pozostaw bez zmian. Ponieważ wyniki modelu różnią się między kolejnymi uruchomieniami, powtórz każdą parę kilka razy i uwzględnij wystarczającą liczbę par, by różnicy nie można było zbyć jako przypadkowego szumu. Właśnie w ten sposób badacze wykryli rozbieżności w rankingach CV i generowanych komunikatach służbowych. Wewnętrzny zespół może przeprowadzić wstępną wersję takiego testu w jedno popołudnie.
2. Audyt wskaźników zastępczych. W przypadku każdego wskaźnika, który system optymalizuje, zadaj dwa pytania: co właściwie mierzy ta liczba i kogo może pomijać? Algorytm stosowany w ochronie zdrowia dobrze przewidywał wybrany dla niego wskaźnik. Trafnie przewidywał koszty. Problem polegał na tym, że koszty zastępowały w nim potrzeby medyczne. System może być trafny według własnego wskaźnika, a mimo to poważnie mylić się w ocenie sytuacji osób, na które wpływa.
3. Porównanie wyników. Porównuj odsetki wyboru lub zatwierdzeń w poszczególnych grupach w rzeczywistym działaniu systemu. Stosowana w amerykańskiej praktyce zatrudnienia orientacyjna reguła czterech piątych, która wskazuje grupę, gdy jej odsetek jest niższy niż 80% odsetka dla grupy z najwyższym wynikiem, stanowi powszechny test wstępny. Połącz go z opisanym wyżej monitorowaniem przypadków zmiany decyzji systemu.

Te testy mają swoje ograniczenia. Zamiana imienia i nazwiska pozwala wykryć jawne sygnały demograficzne, ale nie wskaźniki zastępcze, takie jak kod pocztowy, szkoła czy przerwy w zatrudnieniu — dlatego ważne jest porównywanie wyników. Działania techniczne (zmiana wag danych treningowych, dodanie ograniczeń dotyczących równego traktowania, dostosowanie progów decyzyjnych) mogą zmniejszyć rozbieżności, ale wymagają dokonania wyboru. Badania Kleinberga, Mullainathana i Raghavana, a niezależnie od nich także Chouldechovej, wykazały, że gdy grupy mają różne wskaźniki bazowe, model na ogół nie może jednocześnie spełniać warunków kalibracji i równych wskaźników błędów. Model nie może sam rozstrzygnąć, którą definicję sprawiedliwości należy traktować priorytetowo. To decyzja, za którą ktoś musi wziąć odpowiedzialność i którą trzeba udokumentować — i w ten sposób wracamy do kwestii zarządzania.

Oceniaj sprawiedliwość obok trafności

Zbyt często sprawiedliwe traktowanie uznaje się za odrębną inicjatywę, którą dział HR lub dział prawny ocenia dopiero po tym, jak zespół techniczny sprawdzi trafność, wydajność i koszty. Samo takie rozdzielenie jest częścią problemu. Kwestie sprawiedliwego traktowania należy omawiać na tym samym spotkaniu co trafność i koszty, przy takim samym poziomie odpowiedzialności i z wyznaczoną osobą odpowiedzialną.

W tej rozmowie powinny uczestniczyć działy HR i prawny, a także osoby, które zostały niesprawiedliwie ocenione przez podobne systemy. Osoby, których możliwości nie doceniono, często jako pierwsze dostrzegają to, co umyka systemowi. To jedna z głównych myśli mojej książki The Bias Advantage: perspektywy, które organizacje przez lata pomijały, stają się cennym źródłem wiedzy, gdy uwzględnia się je w procesie decyzyjnym.

Celem nie jest stworzenie systemu AI, który nigdy się nie myli — to nierealne. Chodzi o organizację, która potrafi rozpoznać, kiedy AI się myli, zrozumieć dlaczego i zareagować, zanim błąd stanie się rzeczywistością kogoś innego.