Datorforskare tacklar fördomar i AI

Datorforskare från Princeton och Stanford University arbetar nu med att tackla problemen med fördomar i artificiell intelligens (AI). De arbetar med metoder som resulterar i rättvisare datamängder som innehåller bilder av människor. Forskarna arbetar nära med ImageNet, som är en databas med över 13 miljoner bilder. Under det senaste decenniet har ImageNet hjälpt till att utveckla datorseende. Med hjälp av sina metoder rekommenderade forskarna sedan förbättringar för databasen. 

ImageNet innehåller bilder av objekt, landskap och människor. Forskare som skapar maskinlärningsalgoritmer som klassificerar bilder använder ImageNet som en källa till data. På grund av databasens enorma storlek var det nödvändigt att ha automatiserad bildinsamling och crowdsourcad bildannotering. Nu arbetar ImageNet-teamet med att korrigera fördomar och andra problem. Bilderna innehåller ofta människor som är oavsiktliga konsekvenser av ImageNets konstruktion.

Olga Russakovsky är medförfattare och biträdande professor i datavetenskap vid Princeton. 

“Datorseende fungerar nu riktigt bra, vilket betyder att det används överallt i alla möjliga sammanhang,” sa han. “Detta betyder att nu är tiden för att prata om vilken typ av påverkan det har på världen och tänka på dessa typer av rättvisefrågor.”

I den nya artikeln identifierade ImageNet-teamet systematiskt icke-visuella begrepp och stötande kategorier. Dessa kategorier inkluderade ras- och sexuella karakteriseringar, och teamet föreslog att ta bort dem från databasen. Teamet har också utvecklat ett verktyg som tillåter användare att specificera och hämta bildsätt av människor, och det kan göra det efter ålder, kön och hudfärg. Målet är att skapa algoritmer som mer rättvist klassificerar människors ansikten och aktiviteter i bilder. 

Forskarnas arbete presenterades den 30 januari på Association for Computing Machinerys konferens om rättvisa, ansvar och transparens i Barcelona, Spanien. 

“Det finns verkligen ett behov av forskare och laboratorier med kärnteknisk expertis i detta för att engagera sig i dessa typer av samtal,” sa Russakovsky. “Med tanke på verkligheten att vi måste samla in data i stor skala, med tanke på verkligheten att det kommer att göras med crowdsourcing eftersom det är den mest effektiva och etablerade pipeline, hur gör vi det på ett rättvisare sätt — som inte faller i dessa typer av tidigare fallgropar? Det centrala budskapet i denna artikel är om konstruktiva lösningar.”

ImageNet lanserades 2009 av en grupp datorforskare vid Princeton och Stanford. Det var tänkt att fungera som en resurs för akademiska forskare och utbildare. Skapandet av systemet leddes av Princeton-alumner och fakultetsmedlemmen Fei-Fei Li. 

ImageNet kunde bli en så stor databas av märkta bilder tack vare användningen av crowdsourcing. En av de viktigaste plattformarna som användes var Amazon Mechanical Turk (MTurk), och arbetare betalades för att verifiera kandidatbilder. Detta orsakade vissa problem, och det fanns många fördomar och olämpliga kategoriseringar. 

Huvudförfattare Kaiyu Yang är en doktorand i datavetenskap. 

“När du ber människor att verifiera bilder genom att välja de rätta från en stor uppsättning kandidater, känner människor sig pressade att välja några bilder och dessa bilder tenderar att vara de som har distinkta eller stereotypa egenskaper,” sa han. 

Den första delen av studien innebar att filtrera bort potentiellt stötande eller känsliga personkategorier från ImageNet. Stötande kategorier definierades som de som innehöll svordomar eller ras- eller könskränkningar. En sådan känslig kategori var klassificeringen av människor baserat på sexuell läggning eller religion. Tolv doktorander från olika bakgrunder togs in för att annotera kategorierna, och de instruerades att märka en kategori som känslig om de var osäkra på den. Ungefär 54% av kategorierna eliminerades, eller 1 593 av de 2 932 personkategorierna i ImageNet. 

MTurk-arbetare bedömde sedan “bildbarheten” hos de återstående kategorierna på en skala från 1 till 5. 158 kategorier klassificerades som både säkra och bildbara, med en rating på 4 eller högre. Denna filtrerade uppsättning av kategorier innehöll mer än 133 000 bilder, som kan vara mycket användbara för att träna datorseendealgoritmer. 

Forskarna studerade den demografiska representationen av människor i bilderna, och nivån på fördomar i ImageNet bedömdes. Innehåll från sökmotorer tillhandahåller ofta resultat som överrepresenterar män, ljushyade människor och vuxna mellan 18 och 40 år. 

“Människor har funnit att distributionen av demografi i bildsökresultat är mycket fördomsfull, och det är därför distributionen i ImageNet också är fördomsfull,” sa Yang. “I denna artikel försökte vi förstå hur fördomsfull den är, och också föreslå en metod för att balansera distributionen.”

Forskarna övervägde tre attribut som också skyddas under USA:s antidiskrimineringslagar: hudfärg, kön och ålder. MTurk-arbetarna annoterade sedan varje attribut för varje person i en bild. 

Resultaten visade att ImageNets innehåll har en betydande fördom. De mest underrepresenterade var mörkhudade, kvinnor och vuxna över 40 år. 

Ett webbgränssnittsverktyg utformades som tillåter användare att hämta en uppsättning bilder som är demografiskt balanserade på ett sätt som användaren väljer. 

“Vi vill inte säga vad som är det rätta sättet att balansera demografin, eftersom det inte är en mycket enkel fråga,” sa Yang. “Distributionen kan vara annorlunda i olika delar av världen — distributionen av hudfärger i USA är annorlunda än i länder i Asien, till exempel. Så vi lämnar den frågan till vår användare, och vi tillhandahåller bara ett verktyg för att hämta en balanserad undermängd av bilderna.”

ImageNet-teamet arbetar nu med tekniska uppdateringar av sin maskinvara och databas. De försöker också implementera filtreringen av personkategorierna och återbalanseringsverktyget som utvecklats i denna forskning. ImageNet kommer att släppas om med uppdateringarna, tillsammans med en begäran om feedback från datorseende-forskningsgemenskapen. 

Artikeln var också skriven av Princeton-doktoranden Klint Qinami och biträdande professor i datavetenskap Jia Deng. Forskningen stöddes av National Science Foundation.