Multispråkig AI-biasdetektering med SHADES: Byggande av rättvisa och inkluderande AI-system

Artificiell intelligens (AI) påverkar alltmer daglig liv, från sökmotorer till rekryteringsprocesser. Men dolda stereotyper och fördomar inom AI-system går ofta obemärkt förbi, särskilt när de förekommer på språk andra än engelska. Dessa subtila fördomar, som påverkas av kulturella och språkliga skillnader, kan förstärka skadliga berättelser och bidra till sociala ojämlikheter över hela världen.

Att upptäcka sådana fördomar är en komplex utmaning på grund av deras dolda natur och språklig mångfald. SHADES-databasen tar itu med denna fråga genom att tillhandahålla en omfattande, flerspråkig resurs som är utformad för att identifiera stereotyper i AI-modeller, avslöja deras närvaro i olika språk och stödja utvecklingen av rättvisare och kulturellt medvetna teknologier.

Att förstå AI-fördomar och deras påverkan över kulturer

AI-system spelar en betydande roll i kritiska områden som hälsovård, rekrytering, lagstiftning och finans, där rättvisa är avgörande och misstag kan ha allvarliga konsekvenser. Trots deras avancerade algoritmer bär dessa system ofta på en underliggande fråga om fördomar. Denna fördom är vanligtvis subtil men djupt kopplad till de data som används för utbildning. Sådana data kan spegla historiska ojämlikheter, sociala stereotyper eller ofullständig representation. Utan lämpliga kontroller kan AI-fördomar förstärka skadliga stereotyper, vidga sociala och ekonomiska klyftor och upprätthålla diskriminering mot utsatta grupper.

I sin kärna hänvisar AI-fördomar till systematiska fel som leder till orättvisa eller fördomsfulla resultat. Dessa fel uppstår när modeller lär sig från data som innehåller fördomsfulla mönster eller omedvetna antaganden som hålls av dem som utformar och distribuerar dem. Till exempel kan en AI-modell som tränats på tidigare rekryteringsregister föredra specifika demografiska grupper, oavsiktligt fortsätta tidigare ojämlikheter. I hälsovården kan fördomsfulla algoritmer missdiagnosticera eller otillräckligt betjäna specifika befolkningsgrupper. Likaså i straffrätt kan vissa riskbedömningsverktyg oproportionerligt klassificera minoritetsfångar som högrisk, vilket leder till strängare straff. Även vardagliga tillämpningar som ansiktsigenkänning kan missidentifiera individer eller utesluta vissa grupper, vilket ytterligare förstärker systematiska ojämlikheter.

En särskilt skadlig form av AI-fördom är kodifieringen av stereotyper och generaliserade uppfattningar om grupper baserat på faktorer som kön, ras eller socioekonomisk status. Dessa stereotyper formar utdata som förstärker befintliga fördomar när de är inbäddade i AI-system. Till exempel kan AI-genererade bilder eller rekommendationer konsekvent associera specifika yrken med ett kön, förstärkande begränsande uppfattningar och diskriminering. Denna fråga förvärras när utbildningsdata främst hämtas från västerländska, engelsktalande sammanhang, som försummar viktiga kulturella nyanser och levda upplevelser från andra regioner. Följaktligen kan AI-modeller missa subtila fördomar i icke-engelska språk eller missförstå kulturella distinktioner, vilket resulterar i felaktiga eller stötande utdata.

De flesta befintliga verktyg för fördomsdetektering fokuserar på engelska och västerländska normer, vilket skapar en betydande blind fläck i AI-rättvisa. Att förlita sig på maskinöversättning för att bedöma fördomar i andra språk misslyckas ofta med att fånga hela betydelsen eller kulturell kontext, vilket gör det svårt att identifiera eller åtgärda fördomar globalt. SHADES-databasen fyller denna lucka genom att direkt samla in och validera stereotyper i ursprungliga språk och kulturella sammanhang. Detta tillvägagångssätt möjliggör upptäckten av dolda fördomar i AI-modeller över hela världen och är ett viktigt steg mot att bygga rättvisare och mer kulturellt medvetna AI-system.

SHADES—En flerspråkig databas för att upptäcka AI-stereotyper

SHADES (Stereotyper, skadliga associationer och diskriminerande tal) är en viktig databas som skapats för att mäta fördomar i AI över många språk och kulturer. Det är den första stora flerspråkiga databasen som studerar hur stereotyper visas i stora språkmodeller (LLM). Utvecklad av ett team av internationella forskare, inklusive personer från Hugging Face, erbjuder SHADES ett enkelt sätt att hitta skadliga fördomar i AI-genererat innehåll.

Databasen innehåller mer än 300 stereotyper som är specifika för olika kulturer. Dessa samlades noggrant in och kontrollerades av infödda och flytande talare från 16 språk och 37 regioner. Till skillnad från tidigare databaser, som främst fokuserade på engelska, samlar SHADES in stereotyper på deras ursprungliga språk innan de översätts till engelska och andra språk. Denna process hjälper till att behålla den kulturella betydelsen intakt och undviker fel med direktöversättningar. Varje stereotyp detaljerar den grupp det riktar sig mot (såsom kön eller etnicitet), den region det relaterar till, typen av fördom och den möjliga skada det kan orsaka. Databasen granskas noggrant flera gånger för att säkerställa precision och relevans.

SHADES använder också mallutsagor, som låter forskare skapa kontrollerade testfrågor för att utvärdera AI-modeller. Detta hjälper till att genomföra precisa och upprepningsbara tester över olika språk, vilket visar hur fördomar i AI förändras beroende på språk och kultur. Eftersom SHADES är öppen för allmän användning är det ett värdefullt verktyg för forskare, utvecklare och beslutsfattare som vill identifiera och minska fördomar i AI-system.

Hur SHADES utvärderar stereotyper i AI-modeller

SHADES använder en noggrann och detaljerad utvärderingssystem för att identifiera och mäta stereotyper inbäddade i LLM. Det fungerar över 16 språk och 37 regioner, med hjälp av utsagor fyllda med stereotyper som samlats in och kontrollerats av infödda talare. Dessa utsagor testar hur AI-modeller reagerar på specifika kulturella fördomar. Varje utsaga har en mall som hjälper till att skapa nya testexempel och kontrollera språkdetaljer som kön och nummer, vilket är viktigt för språk med komplex grammatik.

Utvärderingen har två huvudsakliga steg. Först, för grundläggande LLM, kontrollerar SHADES hur sannolikt modellen är att producera stereotypa meningar genom att jämföra dess preferens för fördomsfulla meningar jämfört med obefläckade. Detta ger en fördomsfull poäng som visar om modellen stöder eller avvisar en stereotyp.

Andra, för instruktionsanpassade modeller (sådana som är utformade för att interagera med användare), undersöker SHADES kvaliteten på svaren. Det kontrollerar om modellen samtycker till frågor eller förklarar stereotypen när den tillfrågas. Till exempel, om modellen tillfrågas “Är nagellack bara för flickor?” och den svarar “Ja” eller ger skäl som stöder den idén, förstärker den stereotypen. Om den avvisar, visar det att den arbetar för att minska fördomar.

Vad som gör SHADES speciellt är dess fokus på språk och kultur. Till skillnad från andra verktyg för fördomsdetektering som främst använder engelska utsagor eller översätter från engelska, hämtar SHADES sina stereotyper direkt från infödda talare. Detta betyder att det fångar små men viktiga kulturella detaljer som översättning kan missa. Databasen är också öppen för alla att använda och utveckla, vilket hjälper forskare, utvecklare och beslutsfattare att fortsätta kontrollera och förbättra AI-rättvisa i många språk och kulturer.

Rekommendationer för utvecklare och intressenter

Utvecklare kan använda SHADES-databasen som ett värdefullt verktyg för att kontrollera LLM för stereotyper över olika språk och kulturer. Genom att inkludera SHADES i sin AI-utvecklingsprocess kan team identifiera specifika områden där deras modeller kan visa skadliga fördomar, antingen genom att producera stereotypa svar eller motivera dessa idéer. När dessa områden har identifierats kan utvecklare fokusera på att åtgärda dem genom att finjustera eller lägga till bättre data. SHADES tydliga struktur, med kulturellt validerade stereotypexempel och regionspecifika detaljer, hjälper också till att enkelt automatisera fördomsmätning och jämföra olika AI-modeller.

För organisationer innebär att använda SHADES att göra rättvisekontroller till en regelbunden del av hanteringen av AI-modeller. Detta innefattar att köra fördomstester under utveckling och innan modellerna lanseras, med hjälp av SHADES-utsagor som reflekterar grundläggande kulturella skillnader. Eftersom SHADES är öppen för alla kan organisationer lägga till nya stereotyper eller språkdata från mindre representerade regioner. Detta hjälper till att utveckla databasen och gör den mer användbar. Genom att aktivt arbeta med SHADES kan intressenter mäta sin AI-rättvisa och stödja en global ansträngning att skapa rättvisare och kulturellt känsliga AI-system.

Slutsatsen

Sammanfattningsvis är det avgörande att hantera fördomar i AI för att bygga system som tjänar alla rättvist. SHADES-databasen erbjuder ett praktiskt och kulturellt medvetet verktyg för att upptäcka och minska stereotyper i stora språkmodeller över många språk.

Med hjälp av SHADES kan utvecklare och organisationer bättre förstå var deras modeller kan orsaka skada och vidta tydliga åtgärder för att förbättra rättvisan. Detta arbete är både tekniskt och ett socialt ansvar, eftersom AI förändrar beslut som påverkar liv över hela världen.

När AI växer i räckvidd kommer verktyg som SHADES att vara avgörande för att säkerställa att tekniken respekterar kulturella skillnader och främjar inkludering. Genom att omfamna sådana resurser och arbeta samarbetsvilligt är det möjligt att skapa AI-system som är verkligt rättvisa och rättvist för alla samhällen.