Tankeledere

Skjevheter og rettferdighet i AI-baserte systemer mot finansiell kriminalitet

Danny Butvinik
Legg til Unite.AI blant dine foretrukne kilder på Google
Viktige punkterPartiske AI-systemer kan urettferdig nekte lån basert på rase- eller kjønnsproksier.
Vis mer
  • Partiske AI-systemer kan urettferdig nekte lån basert på rase- eller kjønnsproksier.
  • Datarepresentativitet og kildeintegritet er avgjørende for å forhindre diskriminerende modellresultater.
  • Compliance-ledere må samarbeide med datavitenskapsteam for å sikre ansvarlig AI-distribusjon.

Når det gjelder å bekjempe finansiell kriminalitet, finnes det utfordringer som går utenfor omfanget av å bare stoppe svindlere eller andre kriminelle aktører.

Noen av de nyeste, avanserte teknologiene som lanseres, har ofte sine egne spesifikke problemer som må vurderes under innføringsfasen for å lykkes med å bekjempe svindlere uten regulatoriske konsekvenser. I svindelforsvar kan problemer med modellrettferdighet og databias oppstå når systemet legger for stor vekt på bestemte grupper eller datakategorier, eller disse mangler representasjon. I teorien kunne en prediktiv modell feilaktig assosiere etternavn fra andre kulturer med svindelkontoer, eller feilaktig redusere risiko innen befolkningssegmenter for bestemte typer finansielle aktiviteter.

Partiske AI-systemer kan representere en alvorlig trussel når omdømmer kan bli rammet og oppstår når tilgjengelig data ikke er representativ for befolkningen eller fenomenet som skal undersøkes. Denne dataen inkluderer ikke variabler som korrekt fanger fenomenet vi ønsker å forutsi. Eller alternativt kan dataen inkludere innhold produsert av mennesker, som kan inneholde skjevhet mot grupper av mennesker, arvet fra kulturelle og personlige erfaringer, og som kan føre til forvrengninger når beslutninger tas. Mens dataen på overflaten kan se objektiv ut, er den likevel samlet inn og analysert av mennesker, og kan derfor være partiske.

Det finnes ingen sølvkule når det gjelder å rette opp farerne med diskriminering og urettferdighet i AI-systemer eller permanente løsninger på problemet med rettferdighet og reduksjon av skjevheter i arkitekturen av maskinlæringsmodeller og bruk, men disse problemene må vurderes både av sosiale og forretningsmessige årsaker.

Å gjøre det riktige i AI

Å håndtere skjevhet i AI-baserte systemer er ikke bare det riktige, men også det smarte for bedrifter — og innsatsen for bedriftsledere er høy. Partiske AI-systemer kan føre finansielle institusjoner på feil vei ved å tildele muligheter, ressurser, informasjon eller kvalitet på tjenesten urettferdig. De har også potensialet til å krenke borgerrettigheter, være skadelig for sikkerheten til enkeltpersoner eller påvirke en persons velvære hvis de oppfattes som nedlatende eller fornærmelige.

Det er viktig for bedrifter å forstå kraften og risikoen med AI-skjevhet. Selv om det ofte er ukjent for institusjonen, kan et partiske AI-basert system bruke skadelige modeller eller data som eksponerer rasemessig eller kjønnsbasert skjevhet i en kreditavgjørelse. Informasjon som navn og kjønn kan være proxyer for å kategorisere og identifisere søkere på ulovlige måter. Selv om skjevheten er uforsett, setter den likevel organisasjonen i risiko ved ikke å være i samsvar med regulatoriske krav og kan føre til at bestemte grupper av mennesker blir urettferdig nektet lån eller kreditt.

For tiden har organisasjonene ikke delene på plass for å lykkes med å redusere skjevhet i AI-systemer. Men med AI som stadig blir deployert over bedrifter for å informere beslutninger, er det viktig at organisasjonene streber etter å redusere skjevhet, ikke bare av moralske årsaker, men også for å være i samsvar med regulatoriske krav og bygge inntekter.

“Rettferdighetssensitiv” Kultur og Implementering

Løsninger som er fokusert på rettferdighetssensitiv design og implementering vil ha de mest gunstige resultater. Leverandører bør ha en analytisk kultur som vurderer ansvarlig datainnsamling, håndtering og forvaltning som nødvendige komponenter av algoritmesk rettferdighet, fordi hvis resultater av et AI-prosjekt er generert av partiske, kompromitterte eller skjeve datasett, vil berørte parter ikke være tilstrekkelig beskyttet mot diskriminerende skade.

Disse er elementene av datarettferdighet som datavitenskapelige team må holde i mente:

  • Representativitet: Avhengig av konteksten, kan enten underrepresentasjon eller overrepresentasjon av vanskeligstilte eller lovbeskyttede grupper i datasamplet føre til systematisk forskjellsbehandling til ulempe for sårbare parter i resultater av den trente modellen. For å unngå slike typer sampling-skjevhet, vil domeneekspertise være avgjørende for å vurdere passningen mellom data som er samlet inn eller innhentet og den underliggende befolkningen som skal modelleres. Tekniske teammedlemmer bør tilby midler for å rette opp representasjonelle feil i samplingen.
  • Passende for formål og tilstrekkelighet: Det er viktig å forstå om dataene som er samlet inn er tilstrekkelige for prosjektets ønskede formål. Utilstrekkelige datasett kan ikke likeverdig reflektere de kvaliteter som bør veies for å produsere en berettiget utfall som er konsistent med AI-systemets ønskede formål. Derfor bør prosjektteammedlemmer med teknisk kompetanse og kompetanse innen retningslinjer samarbeide for å bestemme om datakvantiteten er tilstrekkelig og passende for formålet.
  • Kildeintegritet og måleakkuratheit: Effektiv reduksjon av skjevheter starter ved begynnelsen av datauthenting og -innsamling. Både kilder og måleverktøy kan introdusere diskriminerende faktorer i et datasett. For å forhindre diskriminerende skade, må datasamplet ha en optimal kildeintegritet. Dette innebærer å sikre eller bekrefte at datainnsamlingsprosessene involverte egnede, pålitelige og upartiske målekilder og robuste metoder for innsamling.
  • Aktualitet og nylighet: Hvis datasettene inkluderer foreldede data, kan endringer i den underliggende datafordelingen negativt påvirke den trente modellens generaliserbarhet. Gitt at disse distribusjonsskiftene reflekterer endringer i sosiale relasjoner eller gruppedynamikk, kan dette tapet av nøyaktighet med hensyn til de underliggende befolkningens egenskaper introdusere skjevhet i AI-systemet. For å forebygge diskriminerende resultater, bør aktualitet og nylighet av alle datasetts elementer vurderes.
  • Relevans, passende og domenekunnskap: Forståelsen og bruken av de mest passende kildene og datatypene er avgjørende for å bygge et robust og upartisk AI-system. Solid domenekunnskap om den underliggende befolkningens distribusjon og om prosjektets prediktive mål, er instrumental for å velge optimalt relevante måleinnputt som bidrar til en rimelig løsning av den definerte løsningen. Domeneekspertene bør samarbeide nært med datavitenskapelige team for å assistere i å bestemme optimalt passende kategorier og kilder for måling.

Mens AI-baserte systemer assisterer i automatiseringsprosesser og leverer kostnadsbesparelser, må finansielle institusjoner som vurderer AI som en løsning være våken for å sikre at partiske beslutninger ikke skjer. Compliance-ledere bør være i takt med deres datavitenskapelige team for å bekrefte at AI-kapasiteter er ansvarlige, effektive og fri for skjevhet. Å ha en strategi som fremmer ansvarlig AI er det riktige å gjøre, og det kan også gi en vei til samsvar med fremtidige AI-reguleringer.

Danny Butvinik er sjef for datavitenskap i NICE Actimize, og gir teknisk og faglig ledelse. Danny er ekspert på kunstig intelligens og datavitenskap, og har skrevet flere vitenskapelige artikler og forskningsarbeider. I sin nåværende rolle, leder han en stor gruppe dataforskere, og bidrar til vekst i innovasjon og selskapets immaterielle verdier, med over 15 års erfaring innen forskning, utvikling og ledelse i datavitenskap og programvareutvikling.