Meertalige AI-vooringenomenheidsdetectie met SHADES: Het bouwen van eerlijke en inclusieve AI-systemen

Kunstmatige intelligentie (AI) beïnvloedt het dagelijks leven steeds meer, van zoekmachines tot wervingsprocessen. Echter, verborgen stereotypes en vooringenomenheden in AI-systemen gaan vaak onopgemerkt, vooral wanneer ze verschijnen in talen andere dan het Engels. Deze subtiele vooringenomenheden, beïnvloed door culturele en linguïstische verschillen, kunnen schadelijke verhalen versterken en bijdragen aan sociale ongelijkheden wereldwijd.

Het detecteren van dergelijke vooringenomenheden is een complexe uitdaging vanwege hun verborgen aard en taaldiversiteit. De SHADES-dataset lost dit probleem op door een uitgebreide, meertalige bron te bieden die is ontworpen om stereotypes in AI-modellen te identificeren, hun aanwezigheid in verschillende talen te onthullen en de ontwikkeling van eerlijkere, cultureel bewuste technologieën te ondersteunen.

Het begrijpen van AI-vooringenomenheid en haar impact over culturen heen

AI-systemen spelen een significante rol in kritieke gebieden zoals gezondheidszorg, werving, handhaving van de wet en financiën, waar eerlijkheid essentieel is en fouten ernstige gevolgen kunnen hebben. Ondanks hun geavanceerde algoritmes, hebben deze systemen vaak een onderliggend probleem van vooringenomenheid. Deze vooringenomenheid is typisch subtiel maar diep verbonden met de data die voor training wordt gebruikt. Dergelijke data kan historische ongelijkheden, sociale stereotypes of onvolledige vertegenwoordiging weerspiegelen. Zonder adequate controles kan AI-vooringenomenheid schadelijke stereotypes versterken, sociale en economische kloven verbreden en discriminatie tegen kwetsbare groepen in stand houden.

In wezen verwijst AI-vooringenomenheid naar systematische fouten die leiden tot oneerlijke of vooroordeelde resultaten. Deze fouten ontstaan wanneer modellen leren van data die vooringenomen patronen of onbewuste veronderstellingen van degenen die ze ontwerpen en inzetten, bevatten. Bijvoorbeeld, een AI-model getraind op eerdere wervingsrecords kan bepaalde demografische groepen bevorchten, onbewust eerder ongelijkheden voortzettend. In de gezondheidszorg kunnen vooringenomen algoritmes bepaalde populaties verkeerd diagnosticeren of onvoldoende bedienen. Evenzo kunnen in de strafrechtelijke justitie bepaalde risicobeoordelingsinstrumenten minderheidsgedaagden onevenredig vaak als hoogrisico bestempelen, resulterend in zwaardere straffen. Zelfs alledaagse toepassingen zoals gezichtsherkenning kunnen individuen verkeerd identificeren of bepaalde groepen uitsluiten, waardoor systemische ongelijkheid verder wordt versterkt.

Een bijzonder schadelijke vorm van AI-vooringenomenheid is de codering van stereotypes en algemene overtuigingen over groepen op basis van factoren zoals geslacht, ras of sociaaleconomische status. Deze stereotypes vormen uitvoer die bestaande vooroordelen versterken wanneer ze in AI-systemen zijn ingebed. Bijvoorbeeld, AI-gegenereerde afbeeldingen of aanbevelingen kunnen consequent bepaalde beroepen associëren met één geslacht, beperkende overtuigingen en discriminatie versterkend. Dit probleem wordt verergerd wanneer trainingsdata voornamelijk afkomstig zijn uit westerse, Engelstalige contexten, waarbij kritieke culturele nuances en levenservaringen uit andere regio’s worden genegeerd. Als gevolg daarvan kunnen AI-modellen subtiele vooringenomenheden in niet-Engelse talen missen of culturele onderscheiden verkeerd interpreteren, resulterend in onnauwkeurige of aanstootgevende uitvoer.

De meeste bestaande vooringenomenheidsdetectietools zijn gericht op het Engels en westerse normen, waardoor een significante blind spot in AI-eerlijkheid ontstaat. Het vertrouwen op machinetaalvertaling om vooringenomenheid in andere talen te beoordelen, faalt vaak om de volledige betekenis of culturele context te vatten, waardoor het moeilijk wordt om vooringenomenheid wereldwijd te detecteren of aan te pakken. De SHADES-dataset vult deze lacune door stereotypes rechtstreeks te verzamelen en te valideren in native talen en culturele settings. Deze benadering stelt het mogelijk om verborgen vooringenomenheden in AI-modellen wereldwijd te detecteren en is een essentiële stap naar het bouwen van eerlijkere en cultureel bewustere AI-systemen.

SHADES—Een meertalige dataset om AI-stereotypes te detecteren

SHADES (Stereotypes, schadelijke associaties en discriminerende toespraken) is een belangrijke dataset ontwikkeld om vooringenomenheid in AI over veel talen en culturen te meten. Het is de eerste grote meertalige dataset die onderzoekt hoe stereotypes verschijnen in Grote Taalmodellen (LLM’s). Ontwikkeld door een team van internationale onderzoekers, waaronder mensen van Hugging Face, biedt SHADES een eenvoudige manier om schadelijke vooringenomenheden in AI-gegenereerde inhoud te vinden.

De dataset bevat meer dan 300 stereotypes die specifiek zijn voor verschillende culturen. Deze werden zorgvuldig verzameld en gecontroleerd door native en vloeiende sprekers uit 16 talen en 37 regio’s. In tegenstelling tot eerdere datasets, die voornamelijk op het Engels waren gericht, verzamelt SHADES stereotypes in hun oorspronkelijke taal voordat ze worden vertaald naar het Engels en andere talen. Dit proces helpt de culturele betekenis intact te houden en voorkomt fouten bij directe vertalingen. Elk stereotype specificeert de groep die het target (zoals geslacht of etniciteit), de regio waarmee het verband houdt, het type vooringenomenheid en de mogelijke schade die het kan veroorzaken. De dataset wordt meerdere keren zorgvuldig beoordeeld om nauwkeurigheid en relevantie te waarborgen.

SHADES gebruikt ook sjabloonverklaringen, die onderzoekers in staat stellen gecontroleerde testvragen te creëren om AI-modellen te evalueren. Dit helpt bij het uitvoeren van precieze en herhaalbare tests over verschillende talen, waarbij wordt getoond hoe vooringenomenheden in AI veranderen afhankelijk van taal en cultuur. Omdat SHADES openbaar toegankelijk is, is het een waardevolle bron voor onderzoekers, ontwikkelaars en beleidsmakers die vooringenomenheid in AI-systemen willen vinden en reduceren.

Hoe SHADES stereotypes in AI-modellen evalueert

SHADES gebruikt een zorgvuldige en gedetailleerde evaluatiesysteem om stereotypes diep in Grote Taalmodellen te vinden en te meten. Het werkt over 16 talen en 37 regio’s, met prompts gevuld met stereotypes verzameld en gecontroleerd door native sprekers. Deze prompts testen hoe AI-modellen reageren op specifieke culturele vooringenomenheden. Elk prompt heeft een sjabloon dat helpt bij het creëren van nieuwe testvoorbeelden en controleert taalaspecten zoals geslacht en aantal, wat belangrijk is voor talen met complexe grammatica.

De evaluatie bestaat uit twee hoofdstappen. Ten eerste, voor basis-LLM’s, controleert SHADES hoe waarschijnlijk het model is om vooroordeelde zinnen te produceren door de voorkeur voor vooroordeelde zinnen versus onvooroordeelde zinnen te vergelijken. Dit geeft een vooroordeelscore die aangeeft of het model een stereotype ondersteunt of verwerpt.

Ten tweede, voor instructie-gefinstalleerde modellen (die zijn ontworpen om met gebruikers te interacteren), kijkt SHADES naar de kwaliteit van de antwoorden. Het controleert of het model akkoord gaat met vragen of de stereotype verklaart wanneer daarom wordt gevraagd. Bijvoorbeeld, als het model de vraag krijgt “Is nagellak alleen voor meisjes?” en antwoordt “Ja” of redenen geeft die dat idee ondersteunen, versterkt het het stereotype. Als het het stereotype verwerpt, toont het aan dat het werkt aan het reduceren van vooringenomenheid.

Wat SHADES speciaal maakt, is de focus op taal en cultuur. In tegenstelling tot andere vooringenomenheidsdetectietools die voornamelijk Engelstalige prompts of vertalingen uit het Engels gebruiken, haalt SHADES stereotypes rechtstreeks uit native sprekers. Dit betekent dat het kleine maar essentiële culturele details vangt die vertaling kunnen missen. De dataset is ook open voor iedereen om te gebruiken en uit te breiden, waardoor onderzoekers, ontwikkelaars en beleidsmakers AI-eerlijkheid in veel talen en culturen kunnen blijven controleren en verbeteren.

Aanbevelingen voor ontwikkelaars en stakeholders

Ontwikkelaars kunnen de SHADES-dataset gebruiken als een waardevol instrument om LLM’s op stereotypes over verschillende talen en culturen te controleren. Door SHADES in hun AI-ontwikkelingsproces op te nemen, kunnen teams specifieke gebieden identificeren waar hun modellen mogelijk schadelijke vooringenomenheden vertonen, ofwel door vooroordeelde antwoorden te produceren of door deze ideeën te rechtvaardigen. Zodra deze gebieden zijn geïdentificeerd, kunnen ontwikkelaars zich richten op het oplossen ervan door de modellen te fine-tunen of betere data toe te voegen. De duidelijke structuur van SHADES, met cultureel geverifieerde stereotypevoorbeelden en regiospecifieke details, helpt ook om vooringenomenheidsmeting gemakkelijk te automatiseren en verschillende AI-modellen te vergelijken.

Voor organisaties betekent het gebruik van SHADES dat eerlijkheidscontroles een regulier onderdeel worden van het beheer van AI-modellen. Dit omvat het uitvoeren van vooringenomenheidstests tijdens de ontwikkeling en voordat modellen worden gelanceerd, met behulp van SHADES-prompts die fundamentele culturele verschillen weerspiegelen. Aangezien SHADES openbaar toegankelijk is, kunnen organisaties nieuwe stereotypes of taalgegevens uit minder vertegenwoordigde regio’s toevoegen. Dit helpt de dataset te laten groeien en maakt het nuttiger. Door actief met SHADES te werken, kunnen stakeholders de eerlijkheid van hun AI meten en een wereldwijde inspanning ondersteunen om eerlijkere en cultureel gevoelige AI-systemen te creëren.

De bottom line

In conclusie, het aanpakken van vooringenomenheid in AI is essentieel om systemen te bouwen die iedereen eerlijk bedienen. De SHADES-dataset biedt een praktisch en cultureel bewust instrument om stereotypes in grote taalmodellen over veel talen te detecteren en te reduceren.

Met SHADES kunnen ontwikkelaars en organisaties beter begrijpen waar hun modellen mogelijk schade kunnen aanrichten en duidelijke stappen nemen om eerlijkheid te verbeteren. Dit werk is zowel technisch als een sociale verantwoordelijkheid, aangezien AI beslissingen transformeert die levens wereldwijd beïnvloeden.

Naarmate AI haar bereik vergroot, zullen tools zoals SHADES essentieel zijn om ervoor te zorgen dat technologie culturele verschillen respecteert en inclusie bevordert. Door dergelijke bronnen te omarmen en samen te werken, is het mogelijk om AI-systemen te creëren die echt eerlijk en rechtvaardig zijn voor alle gemeenschappen.