Výzkumníci vyvinuli nový nástroj pro boj proti zkreslení v počítačovém vidění

Jedním z nedávných problémů, které vyvstaly v oblasti umělé inteligence (AI), je zkreslení v počítačovém vidění. Mnoho odborníků nyní objevuje zkreslení v systémech AI, což vede k zkresleným výsledkům v různých aplikacích, jako jsou programy pro soudní rozhodnutí.

Probíhá velké úsilí, aby se tyto problémy vyřešily, a nejnovější vývoj pochází z Princetonské univerzity. Výzkumníci z této instituce vytvořili nový nástroj, který je schopen označit potenciální zkreslení v obrazech, které se používají k výcviku systémů AI.

Práce byla prezentována dne 24. srpna na virtuální Evropské konferenci o počítačovém vidění.

Zkreslení v systémech AI

Jedním z hlavních důvodů zkreslení v současných systémech AI je, že jsou často trénovány na velkých sadách obrázků z online zdrojů. Tyto obrázky mohou být stereotypní a když se použijí k vývoji počítačového vidění, výsledkem může být neúmyslně ovlivněné modely. Počítačové vidění umožňuje počítačům identifikovat lidi, objekty a akce.

Nástroj, který vyvinuli výzkumníci, je open-source a je schopen automaticky odhalit potenciální zkreslení ve vizuálních datech. Funkční předtím, než se obrazové sady použijí k výcviku modelů počítačového vidění, a problémy související se stereotypy a podreprezentací lze řešit, než způsobí účinek.

REVISE

Nový nástroj se jmenuje REVISE a spoléhá na statistické metody k identifikaci potenciálních zkreslení v datech. Zaměřuje se na tři oblasti: objektové, založené na pohlaví a geografické.

REVISE je plně automatický a byl postaven na předchozích metodách, které zahrnovaly filtrování a vyvažování obrazových dat, aby uživatel měl více kontroly.

Nový nástroj spoléhá na existující anotace a měření obrazů k analýze obsahu v datech. Některé z těchto existujících anotací zahrnují počet objektů a země původu obrázků.

V jednom příkladu fungování nástroje REVISE ukázal, jak se liší obrázky lidí a květin v závislosti na pohlaví. Muži byli častěji zobrazováni s květinami na ceremoniích nebo setkáních, zatímco ženy byly častěji zobrazovány s květinami na obrazech nebo scénách.

Olga Russaskovsky je asistentkou profesora počítačových věd a hlavním výzkumníkem Laboratoře vizuálního AI. Článek byl spolueditován s postgraduální studentkou Angelinou Wang a asistentem profesora počítačových věd Arvindem Narayanem.

Po identifikaci nesrovnalostí „pak je tu otázka, zda se jedná o zcela nevinný fakt, nebo zda se něco hlubšího děje, a to je velmi těžké automatizovat,“ řekla Russaskovsky.

Podreprezentované nebo špatně reprezentované regiony

Různé regiony po celém světě jsou podreprezentovány v datech počítačového vidění, a to může vést ke zkreslení v systémech AI. Jedním z objevů bylo, že dramaticky větší počet obrázků pochází ze Spojených států a evropských zemí. REVISE také odhalil, že obrázky z jiných částí světa často nemají popisky v místním jazyce, což znamená, že many z nich pocházejí z pohledu turisty na zemi.

„… tato geografická analýza ukazuje, že rozpoznávání objektů může být stále quite zkreslené a vylučující, a může ovlivňovat různé regiony a lidi nerovnoměrně,“ pokračovala Russaskovsky.

“Praxe sběru dat v počítačových vědách nebyla dosud dostatečně prozkoumána,” řekl Wang. “Při sběru obrázků jsou ‘scrapovány’ z internetu, a lidé si často neuvědomují, že jejich obrázky jsou používány [v datech]. Měli bychom sbírat obrázky z více různých skupin lidí, ale když to děláme, měli bychom být opatrní, abychom je získali způsobem, který je respektující.”

Vicente Ordonez-Roman je asistentem profesora počítačových věd na Univerzitě ve Virginii.

“Nástroje a benchmarky jsou důležitým krokem … umožňují nám zachytit tato zkreslení dříve v procesu a přehodnotit náš problém a předpoklady, stejně jako postupy sběru dat,” řekl Ordonez-Roman. “V počítačovém vidění existují některé specifické výzvy týkající se reprezentace a propagace stereotypů. Práce, jako je ta od Princetonské laboratoře vizuálního AI, pomáhají osvětlit a upozornit počítačovou komunitu na některé z těchto problémů a nabízejí strategie, jak je zmírnit.”

Nový nástroj vyvinutý výzkumníky je důležitým krokem k nápravě zkreslení v systémech AI. Nyní je čas tyto problémy vyřešit, protože bude mnohem obtížnější, jakmile se systémy vyvinou a stanou se složitějšími.