Hur Bias Dödar Din AI/ML-Strategi och Vad Du Kan Göra Åt Det

‘Bias’ i modeller av alla slag beskriver en situation där modellen svarar inkorrekt på prompter eller indata eftersom den inte har tränats med tillräckligt mycket högkvalitativ och diversifierad data för att ge ett korrekt svar. Ett exempel skulle vara Apples ansiktsigenkänning för telefonlåsning, som misslyckades i betydligt högre utsträckning för personer med mörkare hudtoner jämfört med ljusare toner. Modellen hade inte tränats på tillräckligt många bilder av personer med mörkare hudtoner. Detta var ett relativt lågriskigt exempel på bias, men är exakt varför EU:s AI-lag har lagt fram krav på att bevisa modellens effektivitet (och kontroller) innan den släpps på marknaden. Modeller med utdata som påverkar företag, finansiella, hälsorelaterade eller personliga situationer måste vara tillförlitliga, annars kommer de inte att användas.

Att Hantera Bias Med Data

Stora Mängder Högkvalitativa Data

Bland många viktiga datahanteringspraxis är en nyckelkomponent för att övervinna och minimera bias i AI/ML-modeller att skaffa stora mängder högkvalitativa, diversifierade data. Detta kräver samarbete med flera organisationer som har sådan data. Traditionellt sett utmanas datainsamling och samarbeten av sekretess- och/eller IP-skyddskoncerner – känslig data kan inte skickas till modellägaren, och modellägaren kan inte riskera att läcka sin IP till en dataägare. En vanlig lösning är att arbeta med mock- eller syntetisk data, som kan vara användbar men också har begränsningar jämfört med att använda riktiga, fullkontextdata. Här är det som sekretessförbättrande teknologier (PETs) ger mycket behövliga svar.

Syntetisk Data: Nära, Men Inte Riktigt

Syntetisk data genereras artificiellt för att imitera riktiga data. Detta är svårt att göra, men blir något enklare med AI-verktyg. Bra kvalitets syntetisk data bör ha samma funktionella avstånd som riktiga data, annars kommer det inte att vara användbart. Kvalitets syntetisk data kan användas för att effektivt öka diversiteten i träningsdata genom att fylla i luckor för mindre, marginaliserade befolkningar, eller för befolkningar som AI-leverantören helt enkelt inte har tillräckligt med data. Syntetisk data kan också användas för att hantera kanter som kan vara svåra att hitta i tillräckliga volymer i den verkliga världen. Dessutom kan organisationer generera en syntetisk datamängd för att tillfredsställa dataresidens- och sekretesskrav som blockerar åtkomst till den riktiga datan. Detta låter bra, men syntetisk data är bara en del av pusslet, inte lösningen.

En av de uppenbara begränsningarna med syntetisk data är frånkopplingen från den verkliga världen. Till exempel kommer autonoma fordon som tränats enbart på syntetisk data att ha svårt med riktiga, oförutsedda vägförhållanden. Dessutom ärver syntetisk data bias från den riktiga data som används för att generera den – vilket i princip besegrar syftet med vår diskussion. Sammanfattningsvis är syntetisk data ett användbart alternativ för finjustering och hantering av kanter, men betydande förbättringar av modellens effektivitet och minimisering av bias beror fortfarande på att få tillgång till riktiga data.

En Bättre Väg: Riktiga Data Via PETs-aktiverade Arbetsflöden

PETs skyddar data medan de används. När det gäller AI/ML-modeller kan de också skydda IP för den modell som körs – “två fåglar, en sten.” Lösningar som använder PETs ger möjligheten att träna modeller på riktiga, känsliga datamängder som tidigare inte var tillgängliga på grund av datasekretess- och säkerhetsproblem. Detta låser upp dataflöden till riktiga data, vilket är det bästa alternativet för att minska bias. Men hur skulle det faktiskt fungera?

För närvarande börjar de ledande alternativen med en konfidentiell datormiljö. Sedan följer en integration med en PETs-baserad programvarulösning som gör den redo att användas direkt medan den hanterar datastyrnings- och säkerhetskraven som inte ingår i en standardiserad tillitsfullständig miljö (TEE). Med denna lösning krypteras modellerna och datan innan de skickas till en säker datormiljö. Miljön kan vara värd någonstans, vilket är viktigt när man hanterar vissa datalokaliseringkrav. Detta innebär att både modell-IP och datasäkerhet upprätthålls under beräkning – inte ens tillhandahållaren av den tillitsfullständiga miljön har tillgång till modellerna eller data inuti den. De krypterade resultaten skickas sedan tillbaka för granskning och loggar är tillgängliga för granskning.

Detta flöde låser upp den bästa kvalitetsdatan oavsett var den är eller vem som har den, och skapar en väg till biasminimering och högeffektiva modeller som vi kan lita på. Detta flöde är också vad EU:s AI-lag beskrev i sina krav på en AI-regleringsbox.

Att Underlätta Etisk och Rättslig Överensstämmelse

Att skaffa bra kvalitets riktiga data är svårt. Datasekretess- och lokaliseringskrav begränsar omedelbart de datamängder som organisationer kan komma åt. För innovation och tillväxt måste data flöda till dem som kan utvinna värdet från den.

Art 54 i EU:s AI-lag ger krav på “högrisk”-modelltyper i termer av vad som måste bevisas innan de kan tas till marknaden. I korthet kommer team att behöva använda riktiga data inom en AI-regleringsbox för att visa tillräcklig modell-effektivitet och överensstämmelse med alla kontroller som detaljerats i Titel III Kapitel 2. Kontrollerna inkluderar övervakning, transparens, förklarbarhet, datasäkerhet, dataskydd, dataminimering och modellskydd – tänk DevSecOps + Data Ops.

Den första utmaningen kommer att vara att hitta en riktig datamängd att använda – eftersom detta är en inneboende känslig datamängd för sådana modelltyper. Utan tekniska garantier kan många organisationer tveka att lita på modellleverantören med sin data eller inte tillåtas göra det. Dessutom är det sätt som lagen definierar en “AI-regleringsbox” en utmaning i sig. Några av kraven inkluderar en garanti för att datan tas bort från systemet efter att modellen har körts, samt styrningskontroller, verkställighet och rapportering för att bevisa det.

Många organisationer har försökt använda färdiga datarengöringsrum (DCR) och tillitsfullständiga miljöer (TEE). Men på egen hand kräver dessa teknologier betydande expertis och arbete för att operationalisera och uppfylla data- och AI-regleringskrav.
DCR är enklare att använda, men inte ännu användbara för mer robusta AI/ML-behov. TEE är säkra servrar och behöver fortfarande en integrerad samarbetsplattform för att vara användbara, snabbt. Detta identifierar dock en möjlighet för sekretessförbättrande teknologiplattformar att integrera med TEE för att ta bort det arbetet, trivialisera inställningen och användningen av en AI-regleringsbox, och därmed förvärv och användning av känslig data.

Genom att möjliggöra användning av mer diversifierad och omfattande datamängder på ett sekretessbevarande sätt hjälper dessa teknologier till att säkerställa att AI- och ML-praxis överensstämmer med etiska standarder och rättsliga krav relaterade till datasekretess (t.ex. GDPR och EU:s AI-lag i Europa). Sammanfattningsvis, medan krav ofta möts med hörbara grymtningar och suckar, är dessa krav helt enkelt vägledande för att bygga bättre modeller som vi kan lita på och förlita oss på för viktiga datastyrda beslut medan vi skyddar sekretessen för de dataämnen som används för modellutveckling och anpassning i Europa.