Raport GEPI „Jak AI zawodzi kobiety” analizuje, jak algorytmy wzmacniają uprzedzenia ze względu na płeć

Wynik oceny kandydata do pracy, ocena zdolności kredytowej czy zalecenie kliniczne mogą sprawiać wrażenie bezstronnych, a jednocześnie utrwalać nierówności obecne w danych, na których się opierają. To główne ostrzeżenie zawarte w nowym raporcie Gender Equity Policy Institute, Jak AI zawodzi kobiety: kiedy uprzedzenia ulegają wzmocnieniu, który zestawia badania nad tym, jak zautomatyzowane systemy mogą odtwarzać, a niekiedy nasilać dyskryminację ze względu na płeć.

Raport, którego autorką jest Myriam Shiran, doktor nauk, specjalistka w dziedzinie uczenia maszynowego i starsza stypendystka GEPI, omawia publikacje naukowe oraz tzw. literaturę szarą dotyczącą szans ekonomicznych, opieki zdrowotnej, wymiaru sprawiedliwości w sprawach karnych, treści generowanych przez AI, projektowania konsumenckich narzędzi AI oraz przemocy seksualnej z wykorzystaniem obrazów, wspomaganej przez AI. To synteza już istniejących dowodów, a nie nowe badanie, w którym każdy system AI oceniono by według jednego wskaźnika.

Najważniejszy argument raportu dotyczy tego, co dzieje się, gdy stronniczy wynik opuszcza model. Zalecenia wpływają na decyzje, generowane treści kształtują oczekiwania, a niektóre wyniki stają się materiałem do przyszłego trenowania. W efekcie niesprawiedliwy wzorzec może być coraz trudniejszy do wykrycia, gdy przechodzi przez kolejne systemy.

Nieuwzględnianie płci w danych wejściowych nie gwarantuje sprawiedliwych wyników

Usunięcie pola dotyczącego płci to intuicyjna reakcja na dyskryminację. W przeglądzie GEPI wyjaśniono, dlaczego samo takie działanie nie wystarczy: imiona i nazwiska, wykształcenie, historia zatrudnienia oraz inne informacje nadal mogą zawierać sygnały związane z płcią. Wyniki historyczne również mogą odzwierciedlać nierówne traktowanie, zanim jeszcze model się z nimi zetknie.

Jeden z przywołanych w raporcie audytów rekrutacyjnych, przeprowadzony przez Wilsona i Caliskana w 2024 roku, obejmował ponad trzy miliony symulowanych porównań życiorysów w dziewięciu zawodach. Testowane modele selekcji kandydatów istotnie częściej faworyzowały imiona i nazwiska kojarzone z mężczyznami w 51,9% porównań, a te kojarzone z kobietami — w 11,1%. W pozostałych 37% nie wykazano istotnej preferencji. Są to wyniki kontrolowanych testów modeli, a nie odsetek rzeczywistych kandydatów, którym odmówiono pracy.

Wyniki badań zależą również od sposobu przeprowadzenia testu. Raport opisuje odrębny audyt z 2025 roku, w którym kilka modeli językowych nie wykazało różnic ze względu na płeć, gdy badacze zmieniali wyłącznie imiona i nazwiska, natomiast zmiany w szczegółach dotyczących wykształcenia wpływały na wyniki. Wąsko zakrojony test może nie uwzględnić informacji, które mają znaczenie w innych etapach tego samego procesu.

W kontekście kredytów raport przywołuje badanie obejmujące około 80 000 niezabezpieczonych pożyczek osobistych udzielonych przez dużego amerykańskiego pożyczkodawcę z sektora fintech. Pożyczki udzielone kobietom przyniosły pożyczkodawcy wyższą stopę zwrotu. W badaniu powiązano ten wynik z tym, że model zawyżał ryzyko niewypłacalności kobiet i odpowiednio ustalał warunki cenowe pożyczek. Istotna jest tu relacja między przewidywanym ryzykiem, faktyczną spłatą a kosztem ponoszonym przez kredytobiorcę — a nie samo to, czy we wniosku pojawia się informacja o płci.

W medycznej AI liczy się więcej niż wysoki wynik uśredniony

Opieka zdrowotna jest szczególnie wyraźnym przykładem tego, jak dobre wyniki w całej populacji mogą skrywać istotne różnice. Model może działać dobrze ogółem, a jednocześnie częściej popełniać błędy w przypadku osób niedostatecznie reprezentowanych w danych treningowych lub walidacyjnych.

GEPI przywołuje badanie z 2024 roku przeprowadzone przez Zacka i współpracowników, w którym przedstawiono GPT-4 identyczne pod każdym innym względem przypadki bólu w klatce piersiowej, opisane jako dotyczące mężczyzny lub kobiety. W 200 próbach dla każdego opisu model uznał próbę wysiłkową serca za bardzo ważną w 71% przypadków dotyczących mężczyzn i w 58% przypadków dotyczących kobiet — różnica wyniosła 13 punktów procentowych.

Wynik ten dotyczy zaleceń modelu w kontrolowanej ocenie, a nie zaobserwowanych decyzji terapeutycznych ani wyników leczenia pacjentów. To rozróżnienie ma znaczenie, zwłaszcza że raport uwzględnia eksploracyjne badania różnych modeli, chorób i zadań klinicznych, przeprowadzane w różnych okresach.

W przeglądzie zawarto również istotne zastrzeżenie: klinicznie znaczących różnic związanych z płcią biologiczną nie należy po prostu wymazywać. Trzeba ustalić, czy różnica w zaleceniach modelu wynika z istotnych uwarunkowań biologicznych, czy z nieuzasadnionego założenia. Wymaga to reprezentatywnych danych do oceny i wnikliwej analizy błędów, a nie żądania, by każde zalecenie było identyczne.

Uprzedzenia mogą wpływać zarówno na sposób przedstawiania grup, jak i na podejmowane decyzje

W raporcie odróżniono szkodę polegającą na ograniczeniu dostępu danej osoby do zasobów — takich jak kredyt czy opieka medyczna — od szkody wynikającej ze sposobu przedstawiania grup. Generowane listy polecające, artykuły prasowe i obrazy przedstawiające różne zawody mogą utrwalać stereotypy, nawet jeśli nie prowadzą bezpośrednio do decyzji o przydziale zasobów.

Badania podsumowane przez GEPI wykazały, że modele językowe częściej opisywały kobiety przez pryzmat cech interpersonalnych, a mężczyzn — przywództwa lub zdolności. Badania generatorów obrazów wykazały nasilone segregowanie zawodów według płci. Wyniki te odnoszą się do zbadanych modeli i ich wersji; nie należy traktować ich jako nowego audytu wszystkich systemów dostępnych obecnie.

Asystenci konsumenccy i wirtualni towarzysze stawiają inne pytanie. Ich głosy, osobowości i reakcje na nękanie są świadomymi decyzjami projektowymi dotyczącymi produktu. Ocena wyłącznie statystycznego zrównoważenia odpowiedzi może pomijać założenia wpisane w to, jak zaprojektowano dany produkt.

W przeglądzie omówiono również syntetyczne materiały o charakterze seksualnym przedstawiające osoby bez ich zgody — AI może ułatwiać ich tworzenie i rozpowszechnianie, a tym samym nadużycia. To coś więcej niż niezgodne z rzeczywistością przedstawienie: wykorzystanie wizerunku prawdziwej osoby bez jej zgody może wyrządzić bezpośrednią krzywdę. Wymaga to innego podejścia niż korygowanie stereotypów zawodowych w grafikach generowanych przez AI.

Dlaczego niezależne testowanie ma znaczenie

GEPI opisuje cztery powtarzające się mechanizmy: uczenie się na podstawie historycznych danych odzwierciedlających nierówności, powielanie stereotypów, przedstawianie osądów jako obiektywnych pomiarów oraz dopuszczanie do tego, by wyniki obciążone uprzedzeniami wpływały na kolejne decyzje lub modele.

Niezależne audyty pomagają ujawnić te mechanizmy. Badacze mogą zmieniać jedną cechę w skądinąd porównywalnych danych wejściowych i sprawdzać, jak zmieniają się wyniki, nawet jeśli nie mają dostępu do wewnętrznej architektury zastrzeżonego modelu. Jednak pomyślny wynik testu dla jednego polecenia lub testu porównawczego nie dowodzi, że cały system wdrożony w praktyce jest sprawiedliwy.

Dla organizacji wdrażających AI praktyczny wniosek jest taki, że należy testować konkretne zastosowanie. Zespół rekrutacyjny powinien przeanalizować drogę od wyników wstępnej selekcji do wyboru kandydatów na rozmowę kwalifikacyjną. Kredytodawca powinien porównać szacunki ryzyka z faktycznymi wynikami spłat. Organizacja ochrony zdrowia powinna ustalić, których pacjentów uwzględniono w danych walidacyjnych i gdzie koncentrują się błędy. Takie kontrole odpowiadają na inne pytania niż to, czy model tworzy płynne wypowiedzi lub jest przeciętnie trafny.

Co ustalono w raporcie — a co pozostaje niewiadome

Raport opiera się przede wszystkim na danych ze Stanów Zjednoczonych, wskazując także istotne badania międzynarodowe. Źródła obejmują różne technologie, lata i metody. Niektóre dokumentują skutki, inne ujawniają niepokojące zachowania w symulacjach. Przegląd nie określa jednej uniwersalnej skali dyskryminacji ani nie dowodzi, że każdy system wykazuje takie same uprzedzenia.

Raport wskazuje również na problem z pomiarem: badacze często nie mają dostępu do danych instytucjonalnych potrzebnych, by powiązać wynik z jego konsekwencjami. Dostrzeżenie nierówności jest ważne, ale ustalenie jej rzeczywistych kosztów może wymagać dostępu do dokumentacji pracodawców, dostawców, kredytodawców lub podmiotów świadczących usługi zdrowotne.

Wkład GEPI polega na powiązaniu ustaleń, które często omawia się osobno, oraz postawieniu pytania, czy testowanie i rozliczalność towarzyszą AI także w decyzjach, na które ma ona wpływ. Pełny raport, Jak AI zawodzi kobiety: gdy uprzedzenia ulegają wzmocnieniu, zawiera opis metodologii, odwołania do badań oraz dowody z poszczególnych sektorów, na których oparto tę argumentację.