Computerwetenschappers pakken vooroordelen in AI aan

Computerwetenschappers van Princeton en Stanford University zijn nu problemen van vooroordelen in kunstmatige intelligentie (AI) aan het aanpakken. Ze werken aan methoden die resulteren in eerlijkere datasets met afbeeldingen van mensen. De onderzoekers werken nauw samen met ImageNet, een database met meer dan 13 miljoen afbeeldingen. Gedurende het afgelopen decennium heeft ImageNet geholpen bij de vooruitgang van computervisie. Met behulp van hun methoden hebben de onderzoekers vervolgens verbeteringen voor de database aanbevolen.

ImageNet bevat afbeeldingen van objecten, landschappen en mensen. Onderzoekers die machine learning-algoritmen creëren die afbeeldingen classificeren, gebruiken ImageNet als bron van data. Vanwege de enorme omvang van de database was het noodzakelijk om geautomatiseerde afbeeldingsverzameling en crowdsourced afbeeldingsannotatie te gebruiken. Nu werkt het ImageNet-team aan het corrigeren van vooroordelen en andere problemen. De afbeeldingen bevatten vaak mensen die onbedoelde gevolgen zijn van de constructie van ImageNet.

Olga Russakovsky is co-auteur en assistant professor in de informatica aan Princeton.

“Computervisie werkt nu echt goed, wat betekent dat het overal wordt ingezet in allerlei contexten,” zei hij. “Dit betekent dat nu het moment is om te praten over de impact die het heeft op de wereld en om na te denken over dit soort eerlijkheidskwesties.”

In het nieuwe artikel heeft het ImageNet-team systematisch niet-visuele concepten en offensieve categorieën geïdentificeerd. Deze categorieën omvatten raciale en seksuele karakteriseringen, en het team stelde voor om ze uit de database te verwijderen. Het team heeft ook een tool ontwikkeld die gebruikers in staat stelt om afbeeldingssets van mensen te specificeren en op te halen, en dit kan op basis van leeftijd, geslachtsuitdrukking en huidskleur. Het doel is om algoritmen te creëren die mensen in afbeeldingen eerlijker classificeren.

Het onderzoek van de onderzoekers werd op 30 januari gepresenteerd op de conferentie van de Association for Computing Machinery over Eerlijkheid, Verantwoordelijkheid en Transparantie in Barcelona, Spanje.

“Er is echt behoefte aan onderzoekers en laboratoria met core technische expertise om deel te nemen aan dit soort gesprekken,” zei Russakovsky. “Gezien de realiteit dat we data op grote schaal moeten verzamelen, gezien de realiteit dat het met crowdsourcing zal gebeuren omdat dat de meest efficiënte en gevestigde pijplijn is, hoe doen we dat op een eerlijkere manier — zonder in deze soorten valkuilen te vallen? De kernboodschap van dit artikel is over constructieve oplossingen.”

ImageNet werd in 2009 gelanceerd door een groep computerwetenschappers van Princeton en Stanford. Het was bedoeld als een bron voor academische onderzoekers en docenten. De creatie van het systeem werd geleid door Princeton-alumni en faculteitslid Fei-Fei Li.

ImageNet kon zo’n grote database van gelabelde afbeeldingen worden door het gebruik van crowdsourcing. Een van de belangrijkste platforms die werd gebruikt, was Amazon (AMZN ) Mechanical Turk (MTurk), en werknemers werden betaald om kandidaat-afbeeldingen te verifiëren. Dit veroorzaakte enkele problemen, en er waren veel vooroordelen en ongepaste categoriseringen.

Leidende auteur Kaiyu Yang is een graduate student in de informatica.

“Wanneer je mensen vraagt om afbeeldingen te verifiëren door de juiste afbeeldingen te selecteren uit een grote set kandidaten, voelen mensen zich onder druk gezet om enkele afbeeldingen te selecteren en die afbeeldingen zijn meestal degene met distinctieve of stereotypische kenmerken,” zei hij.

Het eerste deel van de studie bestond uit het filteren van potentieel offensieve of gevoelige persoonscategorieën uit ImageNet. Offensieve categorieën werden gedefinieerd als die welke profanity of raciale of geslachtsgerelateerde scheldwoorden bevatten. Een dergelijke gevoelige categorie was de classificatie van mensen op basis van seksuele oriëntatie of religie. Twaalf graduate students uit diverse achtergronden werden ingeschakeld om de categorieën te annoteren, en ze kregen de opdracht om een categorie gevoelig te labelen als ze er onzeker over waren. Ongeveer 54% van de categorieën werd verwijderd, of 1.593 van de 2.932 persoonscategorieën in ImageNet.

MTurk-werknemers beoordeelden vervolgens de “beeldbaarheid” van de resterende categorieën op een schaal van 1 tot 5. 158 categorieën werden geclassificeerd als zowel veilig als beeldbaar, met een rating van 4 of hoger. Deze gefilterde set van categorieën bevatte meer dan 133.000 afbeeldingen, die zeer nuttig kunnen zijn voor het trainen van computervisie-algoritmen.

De onderzoekers onderzochten de demografische vertegenwoordiging van mensen in de afbeeldingen, en het niveau van vooroordeel in ImageNet werd beoordeeld. Inhoud uit zoekmachines levert vaak resultaten op die mannen, lichtgetinte mensen en volwassenen tussen de 18 en 40 jaar oververtegenwoordigen.

“Mensen hebben ontdekt dat de distributie van demografische gegevens in zoekresultaten van afbeeldingen sterk vertekend is, en dat is waarom de distributie in ImageNet ook vertekend is,” zei Yang. “In dit artikel hebben we geprobeerd te begrijpen hoe vertekend het is, en ook om een methode voor te stellen om de distributie te balanceren.”

De onderzoekers hebben drie attributen overwogen die ook worden beschermd door de anti-discriminatiewetten van de VS: huidskleur, geslachtsuitdrukking en leeftijd. De MTurk-werknemers hebben vervolgens elk attribuut van elke persoon in een afbeelding geannoteerd.

De resultaten toonden aan dat de inhoud van ImageNet een aanzienlijk vooroordeel heeft. De meest ondervertegenwoordigden waren donkergetinte mensen, vrouwen en volwassenen ouder dan 40 jaar.

Een web-interface-tool werd ontwikkeld die gebruikers in staat stelt om een set afbeeldingen te verkrijgen die demografisch gebalanceerd zijn op een manier die de gebruiker kiest.

“We willen niet zeggen wat de juiste manier is om de demografie te balanceren, omdat het geen eenvoudige kwestie is,” zei Yang. “De distributie kan verschillen in verschillende delen van de wereld — de distributie van huidskleur in de VS is anders dan in landen in Azië, bijvoorbeeld. Dus we laten die vraag over aan onze gebruiker, en we bieden alleen een tool om een gebalanceerde subset van de afbeeldingen op te halen.”

Het ImageNet-team werkt nu aan technische updates voor de hardware en database. Ze proberen ook de filtering van persoonscategorieën en de herbalanceringstool die in dit onderzoek is ontwikkeld, te implementeren. ImageNet zal binnenkort worden heruitgegeven met de updates, samen met een oproep tot feedback van de computervisie-onderzoekscommunity.

Het artikel was ook mede geschreven door Princeton Ph.D.-student Klint Qinami en assistant professor in de informatica Jia Deng. Het onderzoek werd ondersteund door de National Science Foundation.