Datavitenskapsmenn tar tak i bias i kunstig intelligens

Datavitenskapsmenn fra Princeton og Stanford University arbeider nå med å adresse problemer med bias i kunstig intelligens (KI). De arbeider med metoder som resulterer i mer rettferdige datasamlinger som inneholder bilder av mennesker. Forskerne samarbeider nært med ImageNet, som er en database med over 13 millioner bilder. Gjennom det siste tiåret har ImageNet hjulpet til å fremme datavisjon. Ved hjelp av deres metoder anbefalte forskerne deretter forbedringer for databasen. 

ImageNet inkluderer bilder av objekter, landskap og mennesker. Forskere som utvikler maskinlæringsalgoritmer som klassifiserer bilder, bruker ImageNet som en kilde til data. På grunn av databasens massive størrelse, var det nødvendig å bruke automatisert bildeinnsamling og crowdsourced bildeannotering. Nå arbeider ImageNet-teamet med å korrigere bias og andre problemer. Bildene inneholder ofte mennesker som er uventede konsekvenser av ImageNets konstruksjon.

Olga Russakovsky er medforfatter og assistant professor i datavitenskap ved Princeton. 

“Datavisjon fungerer nå veldig bra, hvilket betyr at det blir brukt overalt i alle slags sammenhenger,” sa han. “Dette betyr at nå er tiden for å snakke om hva slags innvirkning det har på verden og tenke på disse slags rettferdighetsspørsmål.”

I den nye artikkelen identifiserte ImageNet-teamet systematisk ikke-visuelle konsepter og offensive kategorier. Disse kategoriene inkluderte rasiale og seksuelle karakteriseringer, og teamet foreslo å fjerne dem fra databasen. Teamet har også utviklet et verktøy som tillater brukerne å spesifisere og hente bildesett av mennesker, og det kan gjøres etter alder, kjønnsuttrykk og hudfarge. Målet er å skape algoritmer som klassifiserer menneskers ansikter og aktiviteter i bilder på en mer rettferdig måte. 

Arbeidet som er gjort av forskerne, ble presentert 30. januar på Association for Computing Machinerys konferanse om rettferdighet, ansvar og transparens i Barcelona, Spania. 

“Det er meget behov for forskere og laboratorier med kjerne-teknisk ekspertise i dette å engasjere seg i disse slags samtaler,” sa Russakovsky. “Gitt virkeligheten at vi må samle inn data i stor skala, gitt virkeligheten at det vil bli gjort med crowdsourcing fordi det er den mest effektive og etablerte pipeline, hvordan gjør vi det på en mer rettferdig måte — som ikke faller i disse slags tidligere fallgruber? Det sentrale budskapet i denne artikkelen er om konstruktive løsninger.”

ImageNet ble lansert i 2009 av en gruppe datavitenskapsmenn fra Princeton og Stanford. Det var ment å tjene som en ressurs for akademiske forskere og undervisere. Skapelsen av systemet ble ledet av Princeton-alumn og fakultetsmedlem Fei-Fei Li. 

ImageNet kunne bli en så stor database av merkte bilder gjennom å bruke crowdsourcing. En av de viktigste plattformene som ble brukt, var Amazon (AMZN ) Mechanical Turk (MTurk), og arbeidere ble betalt for å verifisere kandidatbilder. Dette forårsaket noen problemer, og det var mange bias og upassende kategoriseringer. 

Hovedforfatter Kaiyu Yang er en graduate student i datavitenskap. 

“Når du ber mennesker om å verifisere bilder ved å velge de riktige fra en stor samling av kandidater, føler mennesker seg presset til å velge noen bilder og disse bildene tenderer å være de med distinkte eller stereotypiske trekk,” sa han. 

Den første delen av studien involverte å filtere ut potensielt offensive eller sensitive personkategorier fra ImageNet. Offensive kategorier ble definert som de som inneholdt banneord eller rasiale eller kjønnsrelaterte fornærmelser. En slik sensitiv kategori var klassifiseringen av mennesker basert på seksuell orientering eller religion. Tolv graduate studenter fra diverse bakgrunner ble brakt inn for å annotere kategoriene, og de ble instruert til å merke en kategori som sensitiv hvis de var usikre på den. Omtrent 54% av kategoriene ble eliminert, eller 1 593 av de 2 932 personkategoriene i ImageNet. 

MTurk-arbeidere raterte deretter “bildeevnen” til de gjenværende kategoriene på en skala fra 1 til 5. 158 kategorier ble klassifisert som både trygge og bildeevne, med en rating på 4 eller høyere. Disse filtrerte sett av kategorier inkluderte over 133 000 bilder, som kan være svært nyttige for å trene datavisjonsalgoritmer. 

Forskerne studerte den demografiske representasjonen av mennesker i bildene, og nivået av bias i ImageNet ble vurdert. Innhold fra søkemotorer gir ofte resultater som overrepresenterer menn, lys-hudede mennesker og voksne mellom 18 og 40 år.

“Mennesker har funnet at distribusjonen av demografi i bilde-søkeresultater er svært bias, og dette er hvorfor distribusjonen i ImageNet også er bias,” sa Yang. “I denne artikkelen prøvde vi å forstå hvor bias det er, og også å foreslå en metode for å balansere distribusjonen.”

Forskerne vurderte tre attributter som også er beskyttet under amerikanske anti-diskrimineringslover: hudfarge, kjønnsuttrykk og alder. MTurk-arbeiderne annoterte deretter hver attributt for hver person i et bilde. 

Resultatene viste at ImageNets innhold har en betydelig bias. De mest underrepresenterte var mørk-hudede, kvinner og voksne over 40 år.

Et web-grensesnitt-verktøy ble designet som tillater brukerne å hente en samling av bilder som er demografisk balansert på en måte som brukeren velger. 

“Vi ønsker ikke å si hva som er den riktige måten å balansere demografi på, fordi det ikke er et veldig enkelt spørsmål,” sa Yang. “Distribusjonen kunne være forskjellig i forskjellige deler av verden — distribusjonen av hudfarger i USA er forskjellig fra i land i Asia, for eksempel. Så vi lar det spørsmålet til vår bruker, og vi bare tilbyr et verktøy for å hente en balansert undergruppe av bildene.”

ImageNet-teamet arbeider nå med tekniske oppdateringer til sin maskinvare og database. De prøver også å implementere filteringen av personkategoriene og gjenbalanseringsverktøyet som ble utviklet i denne forskningen. ImageNet skal bli gjenutgitt med oppdateringene, sammen med en oppfordring til tilbakemelding fra datavisjonsforskningsmiljøet. 

Artikkelen ble også skrevet av Princeton Ph.D.-student Klint Qinami og assistant professor i datavitenskap Jia Deng. Forskningen ble støttet av National Science Foundation.