Forskere udvikler nyt værktøj til at bekæmpe bias i computer vision

En af de nyeste problemer, der er opstået inden for feltet kunstig intelligens (AI), er bias i computer vision. Mange eksperter opdager nu bias i AI-systemer, hvilket fører til skæve resultater i forskellige applikationer, såsom programmer til domsafsigelser i retten.

Der er en stor indsats i gang for at løse nogle af disse problemer, og den nyeste udvikling kommer fra Princeton University. Forskere ved institutionen har udviklet et nyt værktøj, der kan identificere potentielle bias i billeder, der bruges til at træne AI-systemer.

Arbejdet blev præsenteret den 24. august på den virtuelle europæiske konference om computer vision.

Bias i AI-systemer

En af de vigtigste årsager til bias i nuværende AI-systemer er, at de ofte trænes på store sæt af billeder fra online-kilder. Disse billeder kan være stereotypiske, og når de bruges til at udvikle computer vision, kan resultaterne være utilsigtet påvirkede. Computer vision er det, der giver computere mulighed for at identificere mennesker, objekter og handlinger.

Værktøjet, der er udviklet af forskerne, er open-source og kan automatisk afsløre potentielle bias i visuelle data-sæt. Det fungerer ved at tage handling før billed-sættene bruges til at træne computer vision-modellerne, og problemer omkring underrepræsentation og stereotyper kan løses før de får en effekt.

REVISE

Det nye værktøj hedder REVISE og afhænger af statistiske metoder til at identificere potentielle bias i et data-sæt. Det fokuserer på tre områder: objekt-baseret, køns-baseret og geografisk-baseret.

REVISE er fuldstændig automatisk og blev bygget på tidligere metoder, der inkluderede filtrering og balance af data-sæt-billeder, så brugeren kunne have mere kontrol.

Det nye værktøj afhænger af eksisterende billed-annotationer og målinger til at analysere indholdet i et data-sæt. Nogle af disse eksisterende annotationer inkluderer objekt-tælling og lande af oprindelse for billederne.

I et eksempel på, hvordan værktøjet fungerer, viste REVISE, hvordan billeder af både mennesker og blomster var forskellige afhængigt af køn. Mænd var mere sandsynligt at optræde med blomster i ceremonier eller møder, og kvinder var mere sandsynligt at optræde med blomster i malerier eller iscenesatte scener.

Olga Russaskovsky er en adjunkt-professor i datalogi og hoved-undersøger af Visual AI Lab. Artiklen er skrevet i samarbejde med ph.d.-studerende Angelina Wang og adjunkt-professor i datalogi Arvind Narayanan.

Efter at værktøjet har identificeret diskrepanser, “så er der spørgsmålet om, hvorvidt dette er en helt uskyldig faktum, eller noget dybere sker, og det er meget svært at automatisere,” sagde Russaskovsky.

Underrepræsenterede eller misrepræsenterede regioner

Forskellige regioner rundt om i verden er underrepræsenterede i computer vision data-sæt, og dette kan føre til bias i AI-systemer. En af fundene var, at et dramatisk større antal billeder kommer fra USA og europæiske lande. REVISE afslørede også, at billeder fra andre dele af verden ofte ikke har billed-underskrifter på det lokale sprog, hvilket betyder, at mange kan komme fra en turists syn på en nation.

“… denne geografiske analyse viser, at genkendelse af objekter kan stadig være ret bias og eksklusiv, og kan påvirke forskellige regioner og mennesker ulige,” fortsatte Russaskovsky.

“Data-sæt-samling i datalogi er ikke blevet undersøgt så grundigt før nylig,” sagde Wang. “Når det kommer til billed-samling, bliver de ‘skrabet’ fra internettet, og mennesker er ikke altid klar over, at deres billeder bliver brugt [i data-sæt]. Vi bør samle billeder fra mere diverse grupper af mennesker, men når vi gør det, skal vi være forsigtige med, at vi får billederne på en måde, der er respektfuld.”

Vicente Ordonez-Roman er en adjunkt-professor i datalogi ved University of Virginia.

“Værktøjer og benchmarks er et vigtigt skridt … de giver os mulighed for at fange disse bias tidligere i processen og omforme vores problemstilling og antagelser samt data-samling,” sagde Ordonez-Roman. “I computer vision er der nogle specifikke udfordringer med hensyn til repræsentation og propagation af stereotyper. Arbejder som dem, der er lavet af Princeton Visual AI Lab, hjælper med at belyse og bringe opmærksomhed til computer vision-fællesskabet omkring nogle af disse problemer og tilbyder strategier til at mindske dem.”

Det nye værktøj, der er udviklet af forskerne, er et vigtigt skridt for at hjælpe med at løse bias-problemerne i AI-systemer. Nu er tiden til at løse disse problemer, da det vil blive meget sværere, når systemerne udvikler sig og bliver mere komplekse.