Forskare utvecklar nytt verktyg för att bekämpa bias i datorseende

En av de senaste frågorna som har dykt upp inom området för artificiell intelligens (AI) är frågan om bias i datorseende. Många experter upptäcker nu bias inom AI-system, vilket leder till snedvridna resultat i olika tillämpningar, såsom program för domstolsutlåtanden.

Det pågår ett stort arbete för att lösa några av dessa problem, och den senaste utvecklingen kommer från Princeton University. Forskare vid institutionen har skapat ett nytt verktyg som kan flagga potentiella bias i bilder som används för att träna AI-system.

Arbetet presenterades den 24 augusti på den virtuella europeiska konferensen om datorseende.

Bias i AI-system

En av de största anledningarna till att bias förekommer i nuvarande AI-system är att de ofta tränas på stora mängder bilder från onlinekällor. Dessa bilder kan vara stereotypa, och när de används för att utveckla datorseende kan resultaten bli oavsiktligt påverkade. Datorseende är det som möjliggör för datorer att identifiera människor, föremål och handlingar.

Verktyget som utvecklades av forskarna är öppen källkod, och det kan automatiskt avslöja potentiella bias i visuella datamängder. Det fungerar genom att vidta åtgärder innan bildmängderna används för att träna datorseendemodellerna, och problem relaterade till underrepresentation och stereotyper kan åtgärdas innan de får någon effekt.

REVISE

Det nya verktyget kallas REVISE, och det förlitar sig på statistiska metoder för att identifiera potentiella bias i en datamängd. Det fokuserar på tre områden: objektbaserat, könsbaserat och geografibaserat.

REVISE är helt automatiserat och bygger på tidigare metoder som inkluderade filtrering och balansering av datamängder så att användaren kunde ha mer kontroll.

Det nya verktyget förlitar sig på befintliga bildannoteringar och mätningar för att analysera innehållet i en datamängd. Några av dessa befintliga annoteringar inkluderar objekträkning och ursprungsland för bilderna.

I ett exempel på hur verktyget fungerar visade REVISE hur bilder av både människor och blommor skiljer sig åt beroende på kön. Män var mer benägna att förekomma med blommor i ceremonier eller möten, och kvinnor var mer benägna att förekomma med blommor i målningar eller arrangerade scener.

Olga Russaskovsky är biträdande professor i datavetenskap och huvudforskare vid Visual AI Lab. Artikeln var skriven tillsammans med doktoranden Angelina Wang och associate professor i datavetenskap, Arvind Narayanan.

Efter att verktyget har identifierat diskrepanser, “då är frågan om detta är en helt oskyldig faktum, eller om något djupare händer, och det är mycket svårt att automatisera”, sa Russaskovsky.

Underrepresenterade eller missrepresenterade regioner

Många regioner runt om i världen är underrepresenterade i datamängder för datorseende, och detta kan leda till bias i AI-system. En av resultaten var att en dramatiskt större mängd bilder kommer från USA och europeiska länder. REVISE avslöjade också att bilder från andra delar av världen ofta inte har bildtexter på det lokala språket, vilket innebär att många kan komma från en turists synvinkel på ett land.

“…denna geografiska analys visar att objekterkänning fortfarande kan vara ganska biased och exkluderande, och kan påverka olika regioner och människor ojämnt”, fortsatte Russaskovsky.

“Datamängdsinsamling i datavetenskap har inte granskats så noggrant förrän nyligen”, sa Wang. När det gäller bildinsamling, “skrapas de från internet, och människor förstår inte alltid att deras bilder används [i datamängder]. Vi bör samla in bilder från mer diversifierade grupper av människor, men när vi gör det, bör vi vara försiktiga med att vi får bilderna på ett respektfullt sätt.”

Vicente Ordonez-Roman är biträdande professor i datavetenskap vid University of Virginia.

“Verktyg och benchmark är ett viktigt steg… de tillåter oss att fånga dessa bias tidigare i pipelinen och ompröva våra problemsetup och antaganden samt datamängdsinsamling”, sa Ordonez-Roman. “I datorseende finns det vissa specifika utmaningar när det gäller representation och spridning av stereotyper. Arbeten som det som utförts av Princeton Visual AI Lab hjälper till att belysa och bringa till uppmärksamheten hos datorseendegemenskapen några av dessa frågor och erbjuder strategier för att mildra dem.”

Det nya verktyget som utvecklats av forskarna är ett viktigt steg för att hjälpa till att åtgärda biasen i AI-system. Nu är tiden att lösa dessa problem, eftersom det kommer att bli mycket svårare när systemen utvecklas och blir mer komplexa.