Datavidenskabsfolk tager fat på bias i AI

Datavidenskabsfolk fra Princeton og Stanford University arbejder nu på at adresse problemerne med bias i kunstig intelligens (AI). De arbejder på metoder, der resulterer i mere retfærdige datasæt, der indeholder billeder af mennesker. Forskerne samarbejder tæt med ImageNet, der er en database med over 13 millioner billeder. Gennem det sidste årti har ImageNet hjulpet med at fremme computer vision. Ved hjælp af deres metoder anbefalede forskerne derefter forbedringer til databasen.

ImageNet indeholder billeder af objekter, landskaber og mennesker. Forskere, der udvikler maskinelæringsalgoritmer, der klassificerer billeder, bruger ImageNet som en kilde til data. På grund af databasens enorme størrelse var det nødvendigt at bruge automatiseret billedindsamling og crowdsourced billedannotation. Nu arbejder ImageNet-holdet på at korrigere bias og andre problemer. Billederne indeholder ofte mennesker, der er uønskede konsekvenser af ImageNets konstruktion.

Olga Russakovsky er medforfatter og adjunkt i datavidenskab på Princeton.

“Computer vision fungerer nu rigtig godt, hvilket betyder, at det bliver udviklet overalt i alle mulige sammenhænge,” sagde han. “Dette betyder, at nu er tiden til at tale om, hvilken indvirkning det har på verden, og tænke på disse fairness-problemer.”

I den nye artikel identificerede ImageNet-holdet systematisk ikke-visuelle begreber og stødende kategorier. Disse kategorier inkluderede raciale og seksuelle karakteriseringer, og holdet foreslog at fjerne dem fra databasen. Holdet har også udviklet et værktøj, der tillader brugere at specificere og hente billedsæt af mennesker, og det kan gøres efter alder, kønsudtryk og hudfarve. Målet er at skabe algoritmer, der mere retfærdigt klassificerer menneskers ansigter og aktiviteter i billeder.

Forskerne præsenterede deres arbejde den 30. januar på Association for Computing Machinery’s Konference om Fairness, Ansvarlighed og Gennemsigtighed i Barcelona, Spanien.

“Der er meget behov for forskere og laboratorier med kerne-teknisk ekspertise i dette at engagere sig i disse slags samtaler,” sagde Russakovsky. “Givet virkeligheden, at vi skal indsamle data i stor målestok, givet virkeligheden, at det skal gøres med crowdsourcing, fordi det er den mest effektive og etablerede pipeline, hvordan gør vi det på en mere retfærdig måde — uden at falde i disse tidligere fælder? Det centrale budskab i denne artikel er om konstruktive løsninger.”

ImageNet blev lanceret i 2009 af en gruppe datavidenskabsfolk fra Princeton og Stanford. Det var ment som en ressource for akademiske forskere og undervisere. Oprettelsen af systemet blev ledet af Princeton-alumne og fakultetsmedlem Fei-Fei Li.

ImageNet kunne blive så stor en database af mærkede billeder takket være brugen af crowdsourcing. En af de vigtigste platforme, der blev brugt, var Amazon (AMZN ) Mechanical Turk (MTurk), og arbejdere blev betalt for at verificere billedkandidater. Dette forårsagede nogle problemer, og der var mange bias og upassende kategoriseringer.

Hovedforfatteren Kaiyu Yang er en ph.d.-studerende i datavidenskab.

“Når du beder mennesker om at verificere billeder ved at vælge de korrekte billeder fra en stor samling af kandidater, føler mennesker sig presset til at vælge nogle billeder, og disse billeder tenderer til at være de med distinkte eller stereotypiske træk,” sagde han.

Den første del af studiet involverede at filtrere potentielt stødende eller følsomme personkategorier fra ImageNet. Stødende kategorier blev defineret som dem, der indeholdt bandeord eller raciale eller kønsrelaterede krænkelser. En sådan følsom kategori var klassificeringen af mennesker baseret på seksuel orientering eller religion. Tolv ph.d.-studerende fra forskellige baggrunde blev indkaldt til at annotere kategorierne, og de blev instrueret til at mærke en kategori som følsom, hvis de var usikre på den. Omkring 54% af kategorierne blev elimineret, eller 1.593 af de 2.932 personkategorier i ImageNet.

MTurk-arbejdere vurderede derefter “billedets synlighed” af de resterende kategorier på en skala fra 1 til 5. 158 kategorier blev klassificeret som både sikre og synlige, med en vurdering på 4 eller højere. Disse filtrerede sæt af kategorier indeholdt mere end 133.000 billeder, som kan være meget nyttige til træning af computer vision-algoritmer.

Forskerne studerede den demografiske repræsentation af mennesker i billederne, og niveauet af bias i ImageNet blev vurderet. Indhold fra søgemaskiner giver ofte resultater, der overrepræsenterer mænd, lyshudede mennesker og voksne mellem 18 og 40 år.

“Mennesker har fundet ud af, at fordelingen af demografi i billedsøgeresultater er meget bias, og det er derfor, at fordelingen i ImageNet også er bias,” sagde Yang. “I denne artikel prøvede vi at forstå, hvor bias det er, og også at foreslå en metode til at balancere fordelingen.”

Forskerne overvejede tre attributter, der også er beskyttet under amerikansk antidiskriminationslov: hudfarve, kønsudtryk og alder. MTurk-arbejdere annoterede derefter hver attribut for hver person i et billede.

Resultaterne viste, at ImageNets indhold har en betydelig bias. De mest underrepræsenterede var mørkhudede, kvinder og voksne over 40 år.

Et web-værktøj blev designed til at tillade brugere at få et sæt af billeder, der er demografisk balanceret på den måde, som brugeren vælger.

“Vi vil ikke sige, hvad der er den korrekte måde at balancere demografi på, fordi det ikke er et meget enkelt spørgsmål,” sagde Yang. “Fordelingen kan være forskellig i forskellige dele af verden — fordelingen af hudfarver i USA er forskellig fra i lande i Asien, for eksempel. Så vi overlader det spørgsmål til vores bruger, og vi tilbyder blot et værktøj til at hente en balanceret undermængde af billederne.”

ImageNet-holdet arbejder nu på tekniske opdateringer til deres hardware og database. De prøver også at implementere filtreringen af personkategorierne og den genbalanceringsværktøj, der er udviklet i denne forskning. ImageNet skal være genudgivet med opdateringerne, sammen med en opfordring til feedback fra computer vision-forskningsfællesskabet.

Artiklen er også skrevet af Princeton-ph.d.-studerende Klint Qinami og adjunkt i datavidenskab Jia Deng. Forskningen blev støttet af National Science Foundation.