Datamatikere tager fat på bias i AI

Datamatikere fra Princeton og Stanford University arbejder nu på at adresse problemerne med bias i kunstig intelligens (AI). De arbejder på metoder, der resulterer i retfærdigere datasæt, der indeholder billeder af mennesker. Forskerne arbejder tæt sammen med ImageNet, som er en database med mere end 13 millioner billeder. Gennem det seneste årti har ImageNet hjulpet med at fremme computer vision. Med brug af deres metoder anbefaler forskerne derefter forbedringer til databasen.

ImageNet indeholder billeder af objekter, landskaber og mennesker. Forskere, der opretter maskinlæringsalgoritmer, der klassificerer billeder, bruger ImageNet som en kilde til data. På grund af databasens massive størrelse var det nødvendigt at have automatiseret billedindsamling og crowdsourced billedannotation. Nu arbejder ImageNet-holdet på at korrigere bias og andre problemer. Billederne indeholder ofte mennesker, der er uønskede konsekvenser af ImageNet’s konstruktion.

Olga Russakovsky er medforfatter og adjunkt i datamatik på Princeton.

“Computer vision fungerer nu rigtig godt, hvilket betyder, at det bliver udviklet overalt i alle mulige sammenhænge,” sagde han. “Dette betyder, at nu er tiden til at tale om, hvilken indvirkning det har på verden, og tænke på disse fairness-problemer.”

I den nye artikel identificerede ImageNet-holdet systematisk ikke-visuelle begreber og stødende kategorier. Disse kategorier inkluderede raciale og seksuelle karakteriseringer, og holdet foreslog at fjerne dem fra databasen. Holdet har også udviklet et værktøj, der tillader brugere at specificere og hente billedsæt af mennesker, og det kan gøres efter alder, kønsudtryk og hudfarve. Målet er at skabe algoritmer, der mere retfærdigt klassificerer menneskers ansigter og aktiviteter i billeder.

Arbejdet, der er udført af forskerne, blev præsenteret den 30. januar på Association for Computing Machinery’s Konference om Fairness, Ansvarlighed og Gennemsigtighed i Barcelona, Spanien.

“Der er meget behov for, at forskere og laboratorier med kernefaglig ekspertise i dette engagerer sig i disse slags samtaler,” sagde Russakovsky. “Givet virkeligheden, at vi skal indsamle data i stor målestok, givet virkeligheden, at det skal gøres med crowdsourcing, fordi det er den mest effektive og etablerede pipeline, hvordan gør vi det på en mere retfærdig måde — uden at falde i disse slags tidligere fælder? Det centrale budskab i denne artikel er om konstruktive løsninger.”

ImageNet blev lanceret i 2009 af en gruppe datamatikere på Princeton og Stanford. Det var ment som en ressource for akademiske forskere og undervisere. Oprettelsen af systemet blev ledet af Princeton-alumne og fakultetsmedlem Fei-Fei Li.

ImageNet kunne blive så stor en database af annoterede billeder takket være brugen af crowdsourcing. En af de primære platforme, der blev brugt, var Amazon Mechanical Turk (MTurk), og arbejdere blev betalt for at verificere billedkandidater. Dette medførte nogle problemer, og der var mange bias og upassende kategoriseringer.

Første forfatter Kaiyu Yang er en ph.d.-studerende i datamatik.

“Når du beder mennesker om at verificere billeder ved at vælge de korrekte fra en stor samling af kandidater, føler mennesker sig presset til at vælge nogle billeder, og disse billeder tenderer til at være dem med karakteristiske eller stereotypiske træk,” sagde han.

Den første del af studiet indebar at filtrere potentielt stødende eller følsomme personkategorier fra ImageNet. Stødende kategorier blev defineret som dem, der indeholdt bandeord eller raciale eller kønsrelaterede krænkelser. En sådan følsom kategori var klassificeringen af mennesker baseret på seksuel orientering eller religion. Tolv ph.d.-studerende fra forskellige baggrunde blev indkaldt til at annotere kategorierne, og de blev instrueret til at mærke en kategori som følsom, hvis de var usikre på den. Omkring 54% af kategorierne blev elimineret, eller 1.593 af de 2.932 personkategorier i ImageNet.

MTurk-arbejdere vurderede derefter “billedets egenskaber” for de resterende kategorier på en skala fra 1 til 5. 158 kategorier blev klassificeret som både sikre og billedlige, med en vurdering på 4 eller højere. Disse filtrerede sæt af kategorier indeholdt mere end 133.000 billeder, som kan være meget nyttige til at træne computer vision-algoritmer.

Forskerne studerede den demografiske repræsentation af mennesker i billederne, og niveauet af bias i ImageNet blev vurderet. Indhold fra søgemaskiner giver ofte resultater, der overrepræsenterer mænd, lyshudede mennesker og voksne mellem 18 og 40 år.

“Mennesker har fundet, at fordelingen af demografi i billedsøgeresultater er højst forvrængede, og det er derfor, at fordelingen i ImageNet også er forvrængede,” sagde Yang. “I denne artikel prøvede vi at forstå, hvor forvrængede det er, og også at foreslå en metode til at balancere fordelingen.”

Forskerne overvejede tre attributter, der også er beskyttet under amerikanske anti-diskriminationslove: hudfarve, kønsudtryk og alder. MTurk-arbejderne annoterede derefter hver attribut for hver person i et billede.

Resultaterne viste, at ImageNet’s indhold har en betydelig bias. De mest underrepræsenterede var mørkhudede, kvinder og voksne over 40 år.

Et web-interface-værktøj blev designede, der tillader brugere at få et sæt af billeder, der er demografisk balanceret på en måde, som brugeren vælger.

“Vi vil ikke sige, hvad der er den korrekte måde at balancere demografien, fordi det ikke er et meget enkelt spørgsmål,” sagde Yang. “Fordelingen kan være forskellig i forskellige dele af verden — fordelingen af hudfarver i USA er forskellig fra i lande i Asien, for eksempel. Så vi overlader dette spørgsmål til vores bruger, og vi tilbyder blot et værktøj til at hente et balanceret undersæt af billederne.”

ImageNet-holdet arbejder nu på tekniske opdateringer til deres hardware og database. De prøver også at implementere filtreringen af personkategorier og genbalanceringsværktøjet, der er udviklet i denne forskning. ImageNet skal genudgives med opdateringerne, sammen med en opfordring til feedback fra computer vision-forskningsfællesskabet.

Artiklen er også skrevet af Princeton-ph.d.-studerende Klint Qinami og adjunkt i datamatik Jia Deng. Forskningen blev støttet af National Science Foundation.