Zpráva GEPI „Jak umělá inteligence selhává vůči ženám“ zkoumá, jak algoritmy zesilují genderové předsudky

Skóre uchazeče o zaměstnání, posouzení úvěruschopnosti nebo klinické doporučení mohou působit nestranně, a přitom dál přenášet nerovnosti obsažené v datech, z nichž vycházejí. Právě před tím varuje nová zpráva organizace Gender Equity Policy Institute Jak umělá inteligence selhává vůči ženám: když se předsudky zesilují, která shrnuje výzkumy toho, jak automatizované systémy mohou reprodukovat — a někdy i prohlubovat — diskriminaci na základě genderu.

Zprávu napsala vědkyně v oblasti strojového učení a hlavní výzkumná pracovnice GEPI Myriam Shiran, PhD. Přináší přehled odborné i šedé literatury týkající se ekonomických příležitostí, zdravotní péče, trestní justice, generovaného obsahu, návrhu spotřebitelských systémů umělé inteligence a sexuálního zneužívání založeného na obrazových materiálech s využitím umělé inteligence. Jde o syntézu dosavadních poznatků, nikoli o nový experiment, který by všechny systémy umělé inteligence hodnotil podle jediného měřítka.

Nejdůležitější argument zprávy se týká toho, co se děje poté, co zkreslený výsledek opustí model. Doporučení ovlivňují rozhodování, generovaný obsah utváří očekávání a některé výstupy se stávají podkladem pro budoucí trénování. Nespravedlivý vzorec se proto může s tím, jak prochází dalšími systémy, stávat stále obtížněji rozpoznatelným.

Vstupy bez údajů o genderu nezaručují spravedlivé výsledky

Odstranění pole s údajem o genderu je intuitivní reakcí na diskriminaci. Přehled GEPI vysvětluje, proč tento krok sám o sobě nestačí: jména, vzdělání, pracovní historie i další údaje mohou stále nést signály související s genderem. Nerovné zacházení se navíc může odrážet už v historických výsledcích, s nimiž se model setká ještě před zahájením práce.

Jeden z auditů náborových systémů citovaných ve zprávě, který v roce 2024 provedli Wilson a Caliskan, zahrnoval více než tři miliony simulovaných porovnání životopisů v devíti profesích. Testované modely pro výběr uchazečů statisticky významně upřednostňovaly jména spojovaná s muži v 51,9 % porovnání a jména spojovaná se ženami v 11,1 % porovnání. Ve zbývajících 37 % se statisticky významná preference neprojevila. Jde o výsledky kontrolovaných testů modelů, nikoli o procenta skutečných uchazečů, kteří nedostali práci.

Výsledky se liší také podle způsobu provedení testu. Zpráva popisuje samostatný audit z roku 2025, v němž několik jazykových modelů nevykazovalo rozdíly podle genderu, když výzkumníci měnili pouze jména, zatímco změny údajů o vzdělání skóre ovlivnily. Úzce zaměřený test může přehlédnout informace, které jsou důležité v jiné části téhož pracovního postupu.

V oblasti úvěrů přehled odkazuje na výzkum přibližně 80 000 nezajištěných osobních půjček od významného amerického fintechového poskytovatele. Půjčky poskytnuté ženám přinášely věřiteli vyšší výnosy. Studie tento výsledek spojila s tím, že model nadhodnocoval riziko nesplacení u žen a podle toho stanovoval cenu půjček. Podstatný je zde vztah mezi předpokládaným rizikem, skutečným splácením a cenou, kterou dlužník platí — nikoli pouze to, zda žádost obsahuje údaj o genderu.

Zdravotnická umělá inteligence potřebuje víc než jen vysoké průměrné skóre

Zdravotnictví nabízí zvlášť názorný příklad toho, proč mohou celkové výsledky za celou populaci zakrývat důležité rozdíly. Model může dosahovat dobrých výsledků v průměru, a přitom častěji chybovat u lidí, kteří jsou v jeho trénovacích nebo validačních datech zastoupeni méně.

GEPI cituje studii Zacka a jeho kolegů z roku 2024, v níž autoři předložili GPT-4 jinak totožné případy bolesti na hrudi, které se lišily pouze tím, zda se týkaly muže, nebo ženy. Ve 200 bězích pro každý popis model označil zátěžové vyšetření srdce za vysoce důležité v 71 % případů u mužů a v 58 % případů u žen — rozdíl činil 13 procentních bodů.

Toto zjištění se týká doporučení modelu v kontrolovaném hodnocení, nikoli pozorovaných rozhodnutí o léčbě nebo zdravotních výsledků pacientů. Toto rozlišení je důležité zejména proto, že zpráva zahrnuje průzkumné studie různých modelů, onemocnění a klinických úkolů prováděné v různých obdobích.

Přehled zároveň přináší zásadní upřesnění: klinicky významné rozdíly mezi pohlavími by se neměly jednoduše stírat. Je třeba zjistit, zda rozdíl v doporučení modelu odráží biologické skutečnosti, nebo nepodložený předpoklad. K tomu jsou zapotřebí reprezentativní hodnoticí data a pečlivá analýza chyb, nikoli požadavek, aby každé doporučení bylo totožné.

Předsudky mohou ovlivňovat nejen rozhodování, ale i zobrazování skupin

Zpráva rozlišuje mezi újmou, která jednotlivci omezuje přístup ke zdrojům, jako je půjčka nebo zdravotní péče, a újmou způsobenou tím, jak jsou zobrazovány celé skupiny. Doporučující dopisy, zpravodajské články a obrázky profesí vytvořené umělou inteligencí mohou posilovat stereotypy, i když bezprostředně nenásleduje žádné rozhodnutí o přidělení zdrojů.

Výzkumy shrnuté organizací GEPI zjistily, že jazykové modely popisují ženy častěji prostřednictvím mezilidských vlastností a muže spíše z hlediska vůdčích schopností nebo dovedností. Studie generátorů obrázků odhalily přehnané rozdělování profesí podle genderu. Tyto výsledky se vztahují na zkoumané modely a jejich konkrétní verze; nelze je považovat za nový audit všech systémů, které jsou v současnosti dostupné.

Spotřebitelské asistenty a virtuální společníci nastolují jinou otázku. Jejich hlasy, osobnosti i reakce na obtěžování jsou záměrnou součástí návrhu produktu. Hodnocení, které sleduje pouze statistické vyvážení jejich odpovědí, může přehlédnout předpoklady zakódované v tom, jaký produkt má být.

Zpráva se zabývá také neconsenzuálními syntetickými sexuálními snímky, jejichž tvorbu a šíření může AI usnadnit a tím i zneužívání. Nejde jen o nepřesné zobrazení: použití podoby skutečné osoby bez jejího souhlasu jí může přímo ublížit. Vyžaduje to jinou reakci než pouhou nápravu profesního stereotypu ve generovaném díle.

Proč je nezávislé testování důležité

GEPI popisuje čtyři opakující se mechanismy: učení z historických záznamů poznamenaných nerovností, reprodukování stereotypů, prezentování úsudků jako objektivních měření a umožnění, aby zkreslené výstupy ovlivňovaly následná rozhodnutí nebo modely.

Nezávislé audity pomáhají tyto mechanismy odhalit. Výzkumníci mohou měnit jednu vlastnost ve vstupních datech, která jsou jinak srovnatelná, a sledovat, jak se mění výstupy, a to i bez přístupu k interní architektuře proprietárního modelu. Úspěšný test na jednom zadání nebo benchmarku však nedokazuje, že je celý systém při nasazení spravedlivý.

Organizace, které zavádějí AI, by měly v praxi testovat konkrétní způsob jejího využití. Náborový tým musí prověřit, jak se od skóre předběžného výběru postupuje k výběru kandidátů na pohovor. Věřitel musí porovnat odhady rizika se skutečnými výsledky splácení. Zdravotnická organizace musí zjistit, kteří pacienti jsou zastoupeni v ověřovacích datech a kde se soustřeďují chyby. Tyto kontroly zodpovídají jiné otázky než to, zda je model v průměru plynulý nebo přesný.

Co zpráva dokládá – a co zůstává neznámé

Zpráva vychází především z poznatků z USA a podle potřeby uvádí také mezinárodní studie. Její zdroje zahrnují různé technologie, období i metody. Některé dokládají výsledky, jiné odhalují znepokojivé chování v simulacích. Zpráva nestanovuje jednu univerzální míru diskriminace ani netvrdí, že všechny systémy vykazují stejné zkreslení.

Upozorňuje také na problém s měřením: výzkumníci často nemají přístup k institucionálním datům, která potřebují k propojení výstupu s jeho důsledky. Odhalit rozdíl je důležité, pochopit jeho skutečné náklady však může vyžadovat záznamy, které mají k dispozici zaměstnavatelé, dodavatelé, věřitelé nebo poskytovatelé zdravotní péče.

Přínosem práce GEPI je propojení zjištění, o nichž se často hovoří odděleně, a otázka, zda testování a odpovědnost provázejí AI až do rozhodnutí, která ovlivňuje. Celá zpráva, Jak AI selhává vůči ženám: Když se zkreslení zesiluje, obsahuje metodiku, odkazy na studie a důkazy z jednotlivých odvětví, o něž se tento argument opírá.