Umělá inteligence lidskou zaujatost neodstraňuje. Zesiluje ji.

Umělá inteligence se často představuje jako způsob, jak rozhodování učinit objektivnějším: stačí odstranit lidský úsudek, říká se, a tím zmizí i lidská zaujatost. Stále více výzkumů však tento předpoklad vyvrací.

Systémy umělé inteligence se učí z lidské historie. Trénují se na našich rozhodnutích, našem jazyce, našich institucích a nevyhnutelně i na našich slepých místech. Když tyto systémy třídí uchazeče, přidělují zdravotní péči nebo hodnotí zaměstnance, mohou reprodukovat tato zkreslení v rozsahu a rychlostí, kterým se žádný jednotlivec nevyrovná.

Větší problém je, že tato rozhodnutí vypadají neutrálně. Objeví se skóre. Zobrazí se pořadí. Vygeneruje se doporučení. Předpoklady, které za nimi stojí, nejsou nijak viditelně patrné a nikdo v místnosti se nutně necítí za výsledek odpovědný.

Proto není zkreslení umělé inteligence především problémem modelu. Je to problém správy a řízení. Model lze znovu natrénovat, ale obtížnější otázky se týkají organizace: kdo odpovídá za každé rozhodnutí, na co systém optimalizuje a kdo má pravomoc jeho rozhodnutí zpochybnit.

Lidská zaujatost se promítá do umělé inteligence a vrací se rychlostí stroje

Mechanismus není záhadný. Modely hledají statistické vzorce v trénovacích datech, a pokud už historické výsledky (kdo byl přijat, komu se dostalo péče) obsahují diskriminaci, cíl, který se model učí předvídat, je od počátku zkreslený. Nedávné studie ukazují, jak snadno k tomu dochází u různých poskytovatelů i při různých úkolech:

• Nábor ve velkém měřítku. Analýza Stanfordu, která zkoumala 4 miliony skutečných žádostí o zaměstnání, zjistila, že 26 % černošských uchazečů a 15 % asijských uchazečů se přihlásilo na pozice, u nichž systém umělé inteligence diskriminoval jejich rasovou skupinu. Modely se učily z desítek let lidských náborových rozhodnutí.
• Řazení životopisů. Výzkumníci z University of Washington vyhodnotili více než 550 skutečných životopisů pomocí současných jazykových modelů a zjistili, že jména spojovaná s bělochy dostávala přednost v 85 % případů, zatímco jména černošských mužů byla upřednostňována jen zřídka.
• Komunikace na pracovišti. Výzkum Johns Hopkins zveřejněný na začátku letošního roku zjistil, že GPT-4, Llama, Gemma a Mistral vytvářely méně sofistikované a méně formální pracovní e-maily, když zadání obsahovala jazykové vzorce častěji spojované se ženami.

Jakmile je takový systém nasazen, přestávají být tyto vzorce vlastností trénovacích dat a stávají se součástí každodenních rozhodnutí.

Skutečné nebezpečí spočívá v rozsahu a mlčení

Zaujatý personalista může za rok prověřit stovky životopisů. Zaujatý systém pro jejich třídění může přes noc zpracovat miliony žádostí a na každou z nich uplatnit stejnou chybnou logiku. Zaujaté rozhodnutí člověka bývá často ojedinělou událostí; zaujatá rozhodnutí modelu se mohou rychle stát pravidlem.

Zdravotnictví nabízí jeden z nejzřetelnějších příkladů. Široce používaný algoritmus, který ovlivnil miliony pacientů, byl navržen tak, aby rozpoznal lidi, jimž by prospěla další péče. Černošské pacienty hodnotil jako zdravější než stejně nemocné bělošské pacienty. Nikdo nenapsal rasistické pravidlo. Algoritmus používal výdaje na zdravotní péči jako ukazatel zdravotních potřeb, a protože se černošským pacientům v minulosti dostávalo méně péče, a jejich výdaje proto byly nižší, vyhodnotil nižší výdaje jako známku lepšího zdraví. Podle analýzy výzkumníků zveřejněné v časopise Science by náprava této jediné konstrukční volby zvýšila podíl černošských pacientů označených za osoby potřebující další pomoc ze 17,7 % na 46,5 %.

Systémy umělé inteligence pouze neodrážejí ukazatele, které jim zadáme; odrážejí také předpoklady, na nichž tyto ukazatele stojí. Lidská zaujatost je stejně skutečná, jen se hůře odhaluje a testuje, a proto řešení spočívá v lepší správě a řízení, nikoli v opuštění automatizace.

Začleňte odpovědnost přímo do rozhodování

Obvyklý postup při zavádění umělé inteligence spočívá ve výběru modelu, jeho začlenění do pracovního procesu, sledování jeho výkonu a postupném zlepšování. Pokud výstupy systému ovlivňují lidi, nestačí to.

Alternativní přístup nazývám integrací namísto nasazení: odpovědný člověk je přímo součástí rozhodování a má skutečnou pravomoc rozhodnutí změnit, místo aby až dodatečně jednou za čtvrt roku kontroloval přehledy. Přístup začíná třemi kroky:

1. Zmapujte každé rozhodnutí, které umělá inteligence nyní prověřuje, hodnotí nebo schvaluje, a určete za každé z nich konkrétního člověka odpovědného za jeho výsledek.
2. Prověřte minulost, z níž model čerpá, dříve než se tato minulost promění v pravidla.
3. Umožněte bezpečně rozhodnutí modelu zvrátit a sledujte, jak často k tomu dochází.

Třetí krok je nejdůležitější. Pokud se zaměstnanci naučí, že nesouhlas se strojem bude považován za chybu, přestanou mu odporovat a umělá inteligence se stane faktickým rozhodovatelem, přestože člověk v rozhodovacím procesu formálně zůstává. Nejde o to, zda má poslední slovo člověk. Jde o to, zda má pravomoc, informace a psychologické bezpečí potřebné k tomu, aby řekl: „Stroj se mýlí.“

Opětovné trénování pomáhá, ale zkreslení se do systému dostává prostřednictvím rozhodnutí: na co model optimalizuje, která data se považují za relevantní a kdo kontroluje výstup. Právě tam je třeba hledat. Potřebujeme také vedoucí pracovníky v oblasti umělé inteligence, kteří se dokážou ptát, proč systém něco seřadil právě takto, a mají pravomoc na základě odpovědi jednat.

Míra zásahů, kterými lidé rozhodnutí systému zvrátí, je užitečným ukazatelem, protože její význam není jednoznačný. Pokud lidé systém téměř nikdy nepřebíjejí, může to jednoduše znamenat, že je přesný. Nebo se mohli naučit, že nesouhlasit není bezpečné. Pokud systém přebíjejí jen lidé ve vedoucích pozicích, podřízení se možná naučili mlčet, přestože právě oni bývají nejblíže výstupům systému i lidem, kterých se týkají. Cílem není dosáhnout nulového počtu zásahů. Cílem je kultura, v níž se dobře podložený zásah považuje za známku toho, že systém funguje. Když někdo rozhodnutí modelu zvrátí a ukáže se, že měl pravdu, vyprávějte o tom. Může to být ten nejlepší materiál pro školení o AI, jaký vaše společnost kdy vytvoří.

Ověřujte výsledky, ne záměry

Organizace nemusí čekat na závažné selhání, aby začaly odhalovat předsudky. Už nyní lze provést tři testy:

1. Kontrolované srovnání. Proveďte stejný úkol a změňte pouze demografický signál, například jméno v životopisu nebo dialekt v zadání. Vše ostatní ponechte beze změny, včetně šablony zadání a pořadí vstupů. Protože se výstupy modelu při jednotlivých spuštěních liší, zopakujte každý pár několikrát a použijte dostatek párů, aby rozdíl nešlo odmítnout jako náhodný šum. Právě tak výzkumníci v zásadě odhalili rozdíly v pořadí životopisů a v automaticky generované pracovní komunikaci; interní tým může první verzi tohoto testu provést během jednoho odpoledne.
2. Audit zástupných ukazatelů. U každé metriky, kterou systém optimalizuje, si položte dvě otázky: co toto číslo ve skutečnosti měří a koho může opomíjet? Zdravotnický algoritmus nebyl špatný v předpovídání zvolené metriky. Dokázal dobře předpovídat náklady. Problém byl v tom, že náklady zastupovaly zdravotní potřeby. Systém může být podle vlastní metriky přesný, a přesto se ve vztahu k lidem, které ovlivňuje, zásadně mýlit.
3. Srovnání výsledků. Porovnejte v ostrém provozu míru výběru nebo schválení napříč skupinami. Pravidlo čtyř pětin, používané jako orientační vodítko v pracovněprávní praxi v USA, upozorňuje na skupinu, jejíž míra je nižší než 80 % míry skupiny s nejvyšší hodnotou; jde o běžný první kontrolní test. Doplňte ho výše popsaným sledováním zásahů do rozhodnutí systému.

Tyto testy mají svá omezení. Záměna jména odhalí výslovné demografické signály, ne však zástupné ukazatele, jako je poštovní směrovací číslo, škola nebo mezery v pracovním životopisu; právě proto je důležité srovnání výsledků. Technická opatření ke zmírnění rozdílů (převážení trénovacích dat, přidání podmínek spravedlnosti nebo úprava rozhodovacích prahů) mohou tyto rozdíly zmenšit, ale vyžadují volbu. Výzkum Kleinberga, Mullainathana a Raghavana a nezávisle také Chouldechové ukázal, že pokud se základní míry v jednotlivých skupinách liší, model zpravidla nemůže současně splňovat podmínku kalibrace i dosahovat stejné míry chybovosti. Model nemůže rozhodnout, které definici spravedlnosti dát přednost. Je to rozhodnutí, za které musí někdo převzít odpovědnost a zdokumentovat ho, a tím se problém vrací k řízení a dohledu.

Spravedlnost posuzujte společně s přesností

Až příliš často se spravedlnost považuje za samostatnou iniciativu, kterou HR nebo právní oddělení posuzuje až poté, co technický tým vyhodnotí přesnost, efektivitu a náklady. Právě toto oddělení je součástí problému. Spravedlnost by se měla posuzovat na stejné schůzce jako přesnost a náklady, se stejnou mírou odpovědnosti a s jasně určenou osobou, která za ni odpovídá.

Do této debaty by se měly zapojit personální i právní oddělení a také lidé, které podobné systémy nesprávně posoudily. Lidé, jejichž schopnosti byly podceněny, si často jako první všimnou toho, co systém přehlíží. Jde o jednu z hlavních myšlenek mé knihy The Bias Advantage: pohledy, které organizace v minulosti přehlížely, se stávají mocným zdrojem poznatků, jakmile se zapojí do rozhodovacího procesu.

Cílem není vytvořit systém AI, který nikdy nedělá chyby, protože to není realistické. Cílem je organizace, která dokáže rozpoznat, kdy se AI mýlí, pochopit proč a zasáhnout dříve, než se chyba stane realitou někoho jiného.