Hvordan Bias Kan Drepe Din AI/ML-Strategi og Hva Du Kan Gjøre Med Det

‘Bias’ i modeller av alle typer beskriver en situasjon der modellen responderer uakkurat på forespørsler eller inndata fordi den ikke har blitt trent med nok høykvalitets, diverse data for å gi en nøyaktig respons. Et eksempel ville være Apples ansiktsgjenkjenningfunksjon for å låse opp telefonen, som feilet med en betydelig høyere rate for personer med mørkere hudtoner sammenlignet med lysere toner. Modellen hadde ikke blitt trent på nok bilder av personer med mørkere hud. Dette var et relativt lavrisikoecksempel på bias, men er nettopp hvorfor EU AI-loven har foreslått krav for å bevise modellens effektivitet (og kontroller) før den kan brukes. Modeller med utdata som påvirker bedrift, finansiell, helse- eller personlige situasjoner må være pålitelige, eller de vil ikke bli brukt.

Å Takle Bias med Data

Store Mengder Høykvalitetsdata

Blant mange viktige datahåndteringsteknikker er en nøkkelkomponent for å overvinne og minimere bias i AI/ML-modeller å skaffe store mengder høykvalitets, diverse data. Dette krever samarbeid med flere organisasjoner som har slike data. Tradisjonelt sett er datahenting og samarbeid utfordret av personverns- og/eller IP-beskyttelsesproblemer – følsomme data kan ikke sendes til modellens eier, og modellens eier kan ikke risikere å lekke sin IP til en dataeier. En vanlig løsning er å arbeide med mock eller syntetisk data, som kan være nyttig, men også har begrensninger sammenlignet med å bruke ekte, fullkontekstdata. Dette er der hvor teknologier for å forbedre personvern (PETs) gir mange nødvendige svar.

Syntetisk Data: Nær, men ikke helt

Syntetisk data er kunstig generert for å etterligne ekte data. Dette er vanskelig å gjøre, men blir litt enklere med AI-verktøy. God kvalitet syntetisk data bør ha de samme funksjonsavstandene som ekte data, eller det vil ikke være nyttig. Kvalitet syntetisk data kan brukes til å effektivt øke mangfoldet av treningsdata ved å fylle huller for mindre, marginaliserte befolkninger, eller for befolkninger som AI-leverandøren bare ikke har nok data. Syntetisk data kan også brukes til å håndtere kanttilfeller som kan være vanskelige å finne i tilstrekkelige mengder i den virkelige verden. I tillegg kan organisasjoner generere en syntetisk datamengde for å tilfredsstille dataresidens- og personvernkrav som blokkerer tilgang til ekte data. Dette høres bra ut; imidlertid er syntetisk data bare et stykke av puslespillet, ikke løsningen.

En av de åpenbare begrensningene ved syntetisk data er frakoblingen fra den virkelige verden. For eksempel vil autonome kjøretøy som kun er trenet på syntetisk data slite med ekte, uforutsette vegforhold. I tillegg arver syntetisk data bias fra den virkelige verdensdata som ble brukt til å generere det – nesten helt motsatt av hva vi diskuterer. I konklusjon er syntetisk data et nyttig alternativ for finjustering og håndtering av kanttilfeller, men betydelige forbedringer i modellens effektivitet og minimisering av bias avhenger fortsatt av å få tilgang til ekte verdensdata.

En Bedre Måte: Ekte Data via PETs-aktiverede Arbeidsflyter

PETs beskytter data mens de brukes. Når det gjelder AI/ML-modeller kan de også beskytte IP-en til modellen som kjøres – ”to fugler, ett skudd.” Løsninger som utnytter PETs gir muligheten til å trene modeller på ekte, følsomme datamengder som ikke tidligere var tilgjengelige på grunn av personvern og datasikkerhetsproblemer. Dette åpner opp datastrømmene til ekte data og er det beste alternativet for å redusere bias. Men hvordan ville det faktisk fungere?

For nå starter de ledende alternativene med en konfidensiell datamaskinmiljø. Deretter en integrasjon med en PETs-basert programvareløsning som gjør det klart til å bruke ut av boksen mens det håndterer datastyring og sikkerhetskrav som ikke er inkludert i en standardisert tillitsfullstendig kjøremiljø (TEE). Med denne løsningen blir modellene og dataene kryptert før de sendes til en sikret datamaskinmiljø. Miljøet kan være vertshostet hvor som helst, noe som er viktig når det gjelder å håndtere visse datalokaliseringkrav. Dette betyr at både modellens IP og sikkerheten til inndataene opprettholdes under beregning – ikke engang TEE-leverandøren har tilgang til modellene eller dataene inne i det. De krypterte resultatene sendes deretter tilbake for gjennomsyn og logger er tilgjengelige for gjennomsyn.

Dette flyt åpner den beste kvalitetsdataen uansett hvor den er eller hvem som har den, og skaper en vei til å minimere bias og høyeffektive modeller vi kan stole på. Dette flyt er også det EU AI-loven beskrev i sine krav til et AI-reguleringsområde.

Å Fremme Etiske og Juridiske Krav

Å skaffe god kvalitets, ekte data er vanskelig. Personvern og datalokaliseringkrav begrenser umiddelbart datamengdene som organisasjoner kan få tilgang til. For innovasjon og vekst å skje, må data flyte til de som kan trekke ut verdien av det.

Artikkel 54 i EU AI-loven gir krav til “høyrisikotype” modeller når det gjelder hva som må være bevist før de kan tas til markedet. Kort sagt, teamene må bruke ekte verdensdata innenfor et AI-reguleringsområde for å vise tilstrekkelig modell-effektivitet og overholdelse av alle kontrollene detaljert i Tittel III Kapittel 2. Kontrollene inkluderer overvåking, gjennomsyn, forklarbarhet, datasikkerhet, personvernsbeskyttelse, dataminimering og modellbeskyttelse – tenk DevSecOps + Data Ops.

Den første utfordringen vil være å finne en ekte verdensdatamengde å bruke – da dette er innebygd følsomme data for slike modelltyper. Uten tekniske garantier kan mange organisasjoner nøle med å stole på modellleverandøren med deres data eller vil ikke være i stand til å gjøre det. I tillegg er måten loven definerer et “AI-reguleringsområde” en utfordring i seg selv. Noen av kravene inkluderer en garanti for at dataene fjernes fra systemet etter at modellen har blitt kjørt, samt styringskontroller, gjennomføring og rapportering for å bevise det.

Mange organisasjoner har prøvd å bruke ferdiglagde datarom (DCR) og tillitsfullstendige kjøremiljøer (TEEs). Men på egen hånd krever disse teknologiene betydelig ekspertise og arbeid for å operasjonalisere og møte data- og AI-reguleringskrav.
DCR-er er enklere å bruke, men ikke ennå nyttige for mer robuste AI/ML-behov. TEE-er er sikrede servere og trenger fortsatt en integrert samarbeidsplattform for å være nyttig, raskt. Dette identifiserer imidlertid en mulighet for teknologiplattformer for å forbedre personvern til å integrere med TEE-er for å fjerne arbeidet, trivialisere oppsettet og bruken av et AI-reguleringsområde, og dermed skaffe og bruke følsomme data.

Ved å muliggjøre bruk av mer diverse og omfattende datamengder på en personvernsværnende måte, hjelper disse teknologiene med å sikre at AI- og ML-praksis overholder etiske standarder og juridiske krav relatert til personvern (f.eks. GDPR og EU AI-loven i Europa). I sammenfatning, mens kravene ofte møtes med hørbare grynter og sukk, er disse kravene bare veiledning for å bygge bedre modeller som vi kan stole på og bruke for viktig datadrevet beslutningstaking mens vi beskytter personvernet til datasubjektene som brukes for modellutvikling og tilpasning.