Onderzoekers ontwikkelen nieuw hulpmiddel om vooroordelen in computerzicht te bestrijden

Een van de recente problemen die is opgedoken binnen het veld van kunstmatige intelligentie (AI) is dat van vooroordelen in computerzicht. Veel deskundigen ontdekken nu vooroordelen binnen AI-systemen, wat leidt tot scheve resultaten in verschillende toepassingen, zoals programma’s voor vonnissen in de rechtszaal.

Er is een grote inspanning gaande om enkele van deze problemen op te lossen, met de nieuwste ontwikkeling afkomstig van de Princeton University. Onderzoekers aan de instelling hebben een nieuw hulpmiddel ontwikkeld dat in staat is om potentiële vooroordelen in afbeeldingen te signaleren die worden gebruikt om AI-systemen te trainen.

Het onderzoek werd op 24 augustus gepresenteerd op de virtuele Europese Conferentie over Computerzicht.

Vooroordelen in AI-systemen

Een van de belangrijkste redenen voor de vooroordelen in de huidige AI-systemen is dat ze vaak worden getraind op grote verzamelingen afbeeldingen afkomstig van onlinebronnen. Deze afbeeldingen kunnen stereotypisch zijn en wanneer ze worden gebruikt om computerzicht te ontwikkelen, kan het resultaat onbewust beïnvloed zijn. Computerzicht is wat computers in staat stelt om mensen, objecten en acties te identificeren.

Het hulpmiddel dat door de onderzoekers is ontwikkeld, is open source en kan potentieel vooroordelen in visuele gegevenssets automatisch onthullen. Het werkt door actie te ondernemen voordat de afbeeldingssets worden gebruikt om de computerzichtmodellen te trainen, en problemen met betrekking tot ondervertegenwoordiging en stereotypen kunnen worden opgelost voordat ze effect hebben.

REVISE

Het nieuwe hulpmiddel heet REVISE en het vertrouwt op statistische methoden om potentiële vooroordelen in een gegevensset te identificeren. Het richt zich op de drie gebieden van object-gebaseerd, geslacht-gebaseerd en geografie-gebaseerd.

REVISE is volledig automatisch en werd gebouwd op basis van eerdere methoden die het filteren en balanceren van afbeeldingen in gegevenssets omvatten, zodat de gebruiker meer controle had.

Het nieuwe hulpmiddel vertrouwt op bestaande afbeeldingsannotaties en -metingen om de inhoud van een gegevensset te analyseren. Enkele van deze bestaande annotaties omvatten objecttelling en landen van oorsprong voor de afbeeldingen.

In een voorbeeld van het functioneren van het hulpmiddel, toonde REVISE aan hoe afbeeldingen van zowel mensen als bloemen verschillend waren op basis van geslacht. Mannen waren vaker te zien met bloemen in ceremonies of bijeenkomsten, en vrouwen waren vaker te zien met bloemen in schilderijen of geënsceneerde scenario’s.

Olga Russaskovsky is een assistent-professor in de informatica en hoofdonderzoeker van het Visual AI Lab. Het artikel werd mede geschreven door promovendus Angelina Wang en associate professor in de informatica, Arvind Narayanan.

Nadat het hulpmiddel ongerechtigheden heeft geïdentificeerd, “is er dan de vraag of dit een volledig onschuldig feit is, of dat er iets diepers gebeurt, en dat is heel moeilijk te automatiseren”, zei Russaskovsky.

Ondervertegenwoordigde of verkeerd voorgestelde regio’s

Verschillende regio’s over de hele wereld zijn ondervertegenwoordigd in gegevenssets voor computerzicht, en dit kan leiden tot vooroordelen in AI-systemen. Een van de bevindingen was dat een veel groter aantal afbeeldingen afkomstig is van de Verenigde Staten en Europese landen. REVISE onthulde ook dat afbeeldingen uit andere delen van de wereld vaak geen bijschriften hebben in de lokale taal, wat betekent dat veel afbeeldingen van een toeristische kijk op een land kunnen zijn.

“…deze geografische analyse toont aan dat objectherkenning nog steeds behoorlijk vooroordeel en uitsluiting kan zijn, en kan verschillende regio’s en mensen ongelijk beïnvloeden”, vervolgde Russaskovsky.

“Gegevenssetcollectiepraktijken in de informatica zijn niet grondig onderzocht totdat recentelijk”, zei Wang. Wanneer het gaat om afbeeldingscollectie, worden ze “van internet geschraapt, en mensen realiseren zich niet altijd dat hun afbeeldingen worden gebruikt [in gegevenssets]. We moeten afbeeldingen verzamelen van meer diverse groepen mensen, maar wanneer we dat doen, moeten we ervoor zorgen dat we de afbeeldingen op een respectvolle manier verkrijgen.”

Vicente Ordonez-Roman is een assistent-professor in de informatica aan de University of Virginia.

“Hulpmiddelen en benchmarks zijn een belangrijke stap … ze laten ons toe om deze vooroordelen eerder in de pijplijn te detecteren en ons probleemopzet en aannamen, evenals gegevenscollectiepraktijken, opnieuw te overwegen”, zei Ordonez-Roman. “In computerzicht zijn er enkele specifieke uitdagingen met betrekking tot representatie en de verspreiding van stereotypen. Werken zoals die van het Princeton Visual AI Lab helpen om enkele van deze problemen te verduidelijken en onder de aandacht van de computerzichtgemeenschap te brengen en bieden strategieën om ze te mitigeren.”

Het nieuwe hulpmiddel dat door de onderzoekers is ontwikkeld, is een belangrijke stap om de vooroordelen in AI-systemen te helpen verhelpen. Nu is het moment om deze problemen op te lossen, aangezien het veel moeilijker zal worden als de systemen vorderen en complexer worden.