Počítačoví vědci řeší problém předpojatosti v umělých inteligencích

Počítačoví vědci z Princetonu a Stanfordovy univerzity nyní řeší problémy s předpojatostí v umělých inteligencích (AI). Pracují na metodách, které vedou k fairer datovým souborům obsahujícím obrázky lidí. Vědci úzce spolupracují s ImageNet, což je databáze více než 13 milionů obrázků. Během posledních deseti let ImageNet pomohl pokroku v počítačovém vidění. S využitím svých metod vědci doporučili zlepšení pro databázi.

ImageNet obsahuje obrázky objektů, krajiny a lidí. Vědci, kteří vytvářejí algoritmy strojového učení, které klasifikují obrázky, používají ImageNet jako zdroj dat. Vzhledem k obrovské velikosti databáze bylo nutné použít automatizovanou sběr obrázků a crowdsourcingové annotace obrázků. Nyní tým ImageNet pracuje na opravě předpojatostí a dalších problémů. Obrázky často obsahují lidi, kteří jsou neúmyslnými důsledky konstrukce ImageNet.

Olga Russakovsky je spoluautorkou a asistentkou profesora počítačových věd na Princetonu.

“Počítačové vidění nyní funguje opravdu dobře, což znamená, že je nasazeno všude ve všech typech kontextů,” řekl. “To znamená, že nyní je čas mluvit o tom, jaký dopad to má na svět a přemýšlet o těchto typech otázek spravedlnosti.”

V nové práci tým ImageNet systematicky identifikoval nevizuální koncepty a urážlivé kategorie. Tyto kategorie zahrnovaly rasové a sexuální charakterizace, a tým navrhl jejich odstranění z databáze. Tým také vyvinul nástroj, který umožňuje uživatelům specifikovat a získat soubory obrázků lidí, a to podle věku, pohlaví a barvy pleti. Cílem je vytvořit algoritmy, které lépe klasifikují tváře a činnosti lidí na obrázcích.

Práce výzkumníků byla prezentována 30. ledna na konferenci Association for Computing Machinery o spravedlnosti, odpovědnosti a transparentnosti v Barceloně, Španělsku.

“Je zde velká potřeba, aby se výzkumníci a laboratoře s jádrem technických znalostí zapojily do těchto typů konverzací,” řekl Russakovsky. “Vzhledem k realitě, že potřebujeme shromáždit data ve velkém měřítku, vzhledem k realitě, že to bude provedeno pomocí crowdsourcingu, protože to je nejefektivnější a nejlépe zavedená pipeline, jak to můžeme udělat spravedlivěji – aby to nepadlo do těchto typů předchozích pastí? Základní poselství této práce je kolem konstruktivních řešení.”

ImageNet byl spuštěn v roce 2009 skupinou počítačových vědců z Princetonu a Stanfordu. Měl sloužit jako zdroj pro akademické výzkumníky a pedagogy. Vytvoření systému vedl absolvent a člen fakulty Princetonu Fei-Fei Li.

ImageNet se stal tak velkou databází označených obrázků díky použití crowdsourcingu. Jednou z hlavních platforem použitých byla Amazon (AMZN ) Mechanical Turk (MTurk), a pracovníci byli placeni za ověření kandidátských obrázků. To způsobilo některé problémy, a byly tam banyak předpojatosti a nevhodné kategorie.

Vedoucí autor Kaiyu Yang je doktorandem počítačových věd.

“Když požádáte lidi, aby ověřili obrázky výběrem správných z velkého souboru kandidátů, lidé se cítí pod tlakem vybrat některé obrázky, a tyto obrázky tendují být ty, které mají výrazné nebo stereotypní rysy,” řekl.

První část studie zahrnovala filtrování potenciálně urážlivých nebo citlivých kategorií osob z ImageNet. Uražlivé kategorie byly definovány jako ty, které obsahovaly profanaci nebo rasové nebo genderové urážky. Jednou z takových citlivých kategorií byla klasifikace lidí podle sexuální orientace nebo náboženství. Dvanáct doktorandů z různých prostředí bylo přizváno k annotaci kategorií, a byli instruováni, aby označili kategorii jako citlivou, pokud si weren’t jistí. Asi 54% kategorií bylo odstraněno, nebo 1 593 z 2 932 kategorií osob v ImageNet.

Pracovníci MTurk poté ohodnotili “obrazivost” zbývajících kategorií na škále 1-5. 158 kategorií bylo klasifikováno jako bezpečné a obrazivé, s hodnocením 4 nebo vyšším. Tento filtrovaný soubor kategorií zahrnoval více než 133 000 obrázků, které mohou být velmi užitečné pro výcvik algoritmů počítačového vidění.

Výzkumníci studovali demografickou reprezentaci lidí na obrázcích, a úroveň předpojatosti v ImageNet byla hodnocena. Obsah z vyhledávačů často poskytuje výsledky, které nadměrně reprezentují muže, světlé lidi a dospělé ve věku 18-40 let.

“Lidé zjistili, že distribuce demografie ve výsledcích vyhledávání jsou velmi předpojaté, a to je důvod, proč distribuce v ImageNet je také předpojatá,” řekl Yang. “V tomto článku jsme se pokusili pochopit, jak předpojatá to je, a také navrhnout metodu pro vyvážení distribuce.”

Výzkumníci zvažovali tři atributy, které jsou také chráněny podle amerických zákonů proti diskriminaci: barvu pleti, pohlavní vyjádření a věk. Pracovníci MTurk poté označili každý atribut každé osoby na obrázku.

Výsledky ukázaly, že obsah ImageNet má značnou předpojatost. Nejméně reprezentovaní byli tmaví lidé, ženy a dospělí nad 40 let.

Byl navržen webový nástroj, který umožňuje uživatelům získat soubor obrázků, které jsou demograficky vyvážené způsobem, který uživatel zvolí.

“Nechceme říci, co je správný způsob, jak vyvážit demografie, protože to není příliš jednoduchá otázka,” řekl Yang. “Distribuce by mohla být odlišná v různých částech světa – distribuce barev pleti ve Spojených státech je odlišná od zemí v Asii, například. Takže necháme tuto otázku našim uživatelům, a pouze poskytujeme nástroj pro získání vyváženého souboru obrázků.”

Tým ImageNet nyní pracuje na technických aktualizacích svého hardwaru a databáze. Také se snaží implementovat filtrování kategorií osob a nástroj pro vyvážení, který byl vyvinut v tomto výzkumu. ImageNet má být znovu vydán s aktualizacemi, spolu s výzvou pro zpětnou vazbu od komunity výzkumu počítačového vidění.

Článek byl také spolunapsán Princetonem Ph.D. studentem Klintem Qinamim a asistentem profesora počítačových věd Jia Dengem. Výzkum byl podporován Národní vědeckou nadací.