Forskere utvikler nytt verktøy for å bekjempe fordommer i datavisjon

En av de nyeste problemene som har oppstått innen feltet kunstig intelligens (AI) er fordommer i datavisjon. Mange eksperter oppdager nå fordommer i AI-systemer, noe som fører til skjeve resultater i ulike applikasjoner, som for eksempel programmer for domstolsavgjørelser.

Det pågår en stor innsats for å løse noen av disse problemene, og den nyeste utviklingen kommer fra Princeton University. Forskerne ved institusjonen har utviklet et nytt verktøy som kan flagge potensielle fordommer i bilder som brukes til å trene AI-systemer.

Arbeidet ble presentert den 24. august på den virtuelle europeiske konferansen om datavisjon.

Forbilder i AI-systemer

En av de viktigste årsakene til fordommer i nåværende AI-systemer er at de ofte trenes på store sett med bilder fra nettet. Disse bildene kan være stereotypiske, og når de brukes til å utvikle datavisjon, kan resultatet bli uforvollende påvirket modeller. Datavisjon er det som gjør det mulig for datamaskiner å identifisere mennesker, objekter og handlinger.

Verktøyet som ble utviklet av forskerne er åpen kildekode, og det kan automatisk avsløre potensielle fordommer i visuelle datasamlinger. Det fungerer ved å handle før bildesettene brukes til å trene datavisjonsmodellene, og problemer relatert til underrepresentasjon og stereotyper kan løses før de får noen effekt.

REVISE

Det nye verktøyet heter REVISE, og det baserer seg på statistiske metoder for å identifisere potensielle fordommer i en datasamling. Det fokuserer på de tre områdene objektbasert, kjønnbasert og geografi-basert.

REVISE er fullstendig automatisk og ble bygget på tidligere metoder som inkluderte filtrering og balansering av datasamlingbilder, slik at brukeren kunne ha mer kontroll.

Det nye verktøyet baserer seg på eksisterende bilde-annotasjoner og målinger for å analysere innholdet i en datasamling. Noen av disse eksisterende annotasjonene inkluderer objekt-telling og land av opphav for bildene.

I et eksempel på hvordan verktøyet fungerer, viste REVISE hvordan bilder av både mennesker og blomster var forskjellige avhengig av kjønn. Menn var mer sannsynlig å dukke opp med blomster i seremonier eller møter, og kvinner var mer sannsynlig å dukke opp med blomster i malerier eller iscenesatte scenarioer.

Olga Russaskovsky er en assistentprofessor i datavitenskap og hovedforsker ved Visual AI Lab. Artikkelen var skrevet sammen med doktorgradsstudent Angelina Wang og associate professor i datavitenskap, Arvind Narayanan.

Etter at verktøyet har identifisert uregelmessigheter, “så er det spørsmålet om dette er en fullstendig harmløs faktum, eller om noe dypere skjer, og det er svært vanskelig å automatisere,” sa Russaskovsky.

Underrepresenterte eller misrepresenterte regioner

Forskjellige regioner rundt om i verden er underrepresentert i datavisjonsdatasamlinger, og dette kan føre til fordommer i AI-systemer. En av funnene var at en dramatisk større mengde bilder kommer fra USA og europeiske land. REVISE avslørte også at bilder fra andre deler av verden ofte ikke har bilde-underskrifter på det lokale språket, noe som betyr at mange kan komme fra en turist syn på en nasjon.

“… denne geografi-analysen viser at gjenkjennelse av objekter kan fortsatt være ganske fordomsfull og ekskluderende, og kan påvirke forskjellige regioner og mennesker ulikt,” fortsatte Russaskovsky.

“Datamängder i datavitenskap har ikke blitt grundig undersøkt før nylig,” sa Wang. Når det gjelder bildeinnsamling, “er de skrapet fra internettet, og folk er ikke alltid klar over at bildene deres brukes [i datasamlinger]. Vi bør samle inn bilder fra mer diverse grupper av mennesker, men når vi gjør det, bør vi være forsiktige med at vi får bildene på en måte som er respektfull.”

Vicente Ordonez-Roman er en assistentprofessor i datavitenskap ved University of Virginia.

“Verktøy og benchmark er et viktig skritt … de lar oss fange disse fordommene tidligere i pipeline og omtenke våre problemoppsett og antagelser, samt datasamlingpraksis,” sa Ordonez-Roman. “I datavisjon er det noen spesielle utfordringer når det gjelder representasjon og spredning av stereotyper. Arbeid som det som er gjort av Princeton Visual AI Lab hjelper å belyse og bringe til oppmerksomheten til datavisjonsfellesskapet noen av disse problemene og tilby strategier for å mildne dem.”

Det nye verktøyet som er utviklet av forskerne er et viktig skritt for å hjelpe å kurere fordommer i AI-systemer. Nå er tiden å løse disse problemene, ettersom det vil bli mye vanskeligere når systemene utvikler seg og blir mer komplekse.