Vědci v oboru počítačových věd řeší problém předpojatosti v umělých inteligencích

Vědci v oboru počítačových věd z Princetonu a Stanfordovy univerzity nyní řeší problémy s předpojatostí v umělých inteligencích (AI). Pracují na metodách, které vedou k spravedlivějším datovým souborům obsahujícím obrázky lidí. Vědci úzce spolupracují s ImageNet, který je databází více než 13 milionů obrázků. Během minulého desetiletí ImageNet pomohl pokroku v počítačovém vidění. S využitím svých metod poté doporučili zlepšení pro databázi. 

ImageNet zahrnuje obrázky objektů, krajiny a lidí. Vědci, kteří vytvářejí algoritmy strojového učení pro klasifikaci obrázků, používají ImageNet jako zdroj dat. Vzhledem k obrovské velikosti databáze bylo nutné použít automatizovanou sbírku obrázků a crowdsourcovou anotaci obrázků. Nyní tým ImageNet pracuje na opravě předpojatostí a dalších problémů. Obrázky často obsahují lidi, kteří jsou neúmyslnými důsledky konstrukce ImageNet. 

Olga Russakovsky je spoluautorka a asistentka profesora počítačových věd na Princetonu. 

“Počítačové vidění nyní funguje opravdu dobře, což znamená, že je nasazeno všude v různých kontextech,” řekl. “To znamená, že nyní je čas mluvit o tom, jaký dopad to má na svět a přemýšlet o těchto typech otázek spravedlnosti.” 

V nové práci tým ImageNet systematicky identifikoval nevizuální koncepty a urážlivé kategorie. Tyto kategorie zahrnovaly rasové a sexuální charakterizace, a tým navrhl jejich odstranění z databáze. Tým také vyvinul nástroj, který umožňuje uživatelům specifikovat a načíst soubory obrázků lidí, a to podle věku, genderového vyjádření a barvy pleti. Cílem je vytvořit algoritmy, které lépe klasifikují tváře a činnosti lidí na obrázcích. 

Práce provedená vědci byla prezentována 30. ledna na konferenci Association for Computing Machinery’s Conference on Fairness, Accountability, and Transparency v Barceloně, Španělsko. 

“Je zde velká potřeba, aby se výzkumníci a laboratoře s jádrem technických odborníků zapojily do těchto typů konverzací,” řekl Russakovsky. “Vzhledem k realitě, že potřebujeme shromáždit data ve velkém měřítku, vzhledem k realitě, že to bude provedeno pomocí crowdsourcinhu, protože to je nejefektivnější a nejlépe etablovaný pipeline, jak to udělat spravedlivěji – aby se nevyhnutelně nespadly do předchozích pastí? Hlavní poselství této práce je kolem konstruktivních řešení.” 

ImageNet byl spuštěn v roce 2009 skupinou počítačových vědců z Princetonu a Stanfordu. Měl sloužit jako zdroj pro akademické výzkumníky a pedagogy. Vytvoření systému vedl absolvent a člen fakulty Princetonu Fei-Fei Li. 

ImageNet se stal tak velkou databází označených obrázků díky využití crowdsourcinhu. Jednou z hlavních platforem, které se používaly, byla Amazon Mechanical Turk (MTurk), a pracovníci byli placeni za ověření kandidátských obrázků. To způsobilo některé problémy, a existovaly mnohé předpojatosti a nevhodné kategorizace. 

Vedoucí autor Kaiyu Yang je doktorandem v oboru počítačových věd. 

“Když požádáte lidi, aby ověřili obrázky výběrem správných z velkého souboru kandidátů, lidé se cítí pod tlakem vybrat některé obrázky, a ty obrázky tendují být ty s výraznými nebo stereotypními rysy,” řekl. 

První část studie zahrnovala filtrování potenciálně urážlivých nebo citlivých kategorií osob z ImageNet. Uražlivé kategorie byly definovány jako ty, které obsahovaly profanaci nebo rasové nebo genderové urážky. Jednou z takových citlivých kategorií byla klasifikace lidí podle sexuální orientace nebo náboženství. Dvanáct doktorandů z různých prostředí bylo přizváno k anotaci kategorií, a byli instruováni, aby označili kategorii jako citlivou, pokud si nebyli jisti. Asi 54 % kategorií bylo odstraněno, nebo 1 593 z 2 932 kategorií osob v ImageNet. 

Pracovníci MTurk poté ohodnotili “obrazivost” zbývajících kategorií na škále 1-5. 158 kategorií bylo klasifikováno jako bezpečné a obrazivé, s hodnocením 4 nebo vyšším. Tyto filtrované soubory kategorií zahrnovaly více než 133 000 obrázků, které mohou být velmi užitečné pro trénování algoritmů počítačového vidění. 

Vědci studovali demografické zastoupení lidí na obrázcích, a úroveň předpojatosti v ImageNet byla hodnocena. Zdrojový obsah z vyhledávačů často poskytuje výsledky, které nadměrně reprezentují muže, světlé lidi a dospělé ve věku 18-40 let. 

“Lidé zjistili, že distribuce demografie ve výsledcích vyhledávání obrázků je velmi předpojatá, a to je důvod, proč je distribuce v ImageNet také předpojatá,” řekl Yang. “V této práci jsme se pokusili pochopit, jak předpojatá to je, a také navrhnout metodu pro vyvážení distribuce.” 

Vědci zvažovali tři atributy, které jsou také chráněny podle amerických antidiskriminačních zákonů: barvu pleti, genderové vyjádření a věk. Pracovníci MTurk poté anotovali každý atribut každé osoby na obrázku. 

Výsledky ukázaly, že obsah ImageNet má značnou předpojatost. Nejméně reprezentovaní byli tmaví lidé, ženy a dospělí starší 40 let. 

Byl navržen webový nástroj, který umožňuje uživatelům získat soubor obrázků, které jsou demograficky vyvážené způsobem, který uživatel zvolí. 

“Nechceme říkat, co je správný způsob, jak vyvážit demografie, protože to není tak jednoduchá otázka,” řekl Yang. “Distribuce by mohla být odlišná v různých částech světa – distribuce barev pleti ve Spojených státech je odlišná od těch v asijských zemích, například. Takže necháme tuto otázku na našem uživateli, a pouze poskytujeme nástroj pro načtení vyvážené podmnožiny obrázků.” 

Tým ImageNet nyní pracuje na technických aktualizacích svého hardwaru a databáze. Také se snaží implementovat filtrování kategorií osob a nástroj pro vyvážení, který byl vyvinut v této práci. ImageNet bude znovu vydán s aktualizacemi, spolu s výzvou pro zpětnou vazbu od komunity výzkumu počítačového vidění. 

Práce byla také spolunapsána Princetonem Ph.D. studentem Klintem Qinamim a asistentem profesora počítačových věd Jia Dengem. Výzkum byl podporován Národní vědeckou nadací.