Prioritering av tillit til AI

Samfunnets avhengighet av kunstig intelligens (AI) og maskinlæring (ML) applikasjoner fortsetter å øke, og omdefinere hvordan informasjon konsumeres. Fra AI-drevne chatboter til informasjonssynteser produsert fra store språkmodeller (LLM), har samfunnet tilgang til mer informasjon og dypere innsikt enn noensinne før. Men mens teknologiselskaper konkurrerer om å implementere AI over hele verdikjeden, dukker en kritisk spørsmål opp. Kan vi virkelig stole på utdataene fra AI-løsningene?

Kan vi virkelig stole på AI-utdata uten usikkerhetskvantifisering

For en gitt innmatning, kan en modell ha generert mange andre like plausiblene utdata. Dette kan skyldes utilstrekkelig treningdata, variasjoner i treningdata eller andre årsaker. Når modellene deployeres, kan organisasjonene bruke usikkerhetskvantifisering for å gi slutbrukerne en klarere forståelse av hvor mye de bør stole på utdataene fra en AI/ML-modell. Usikkerhetskvantifisering er prosessen med å estimere hva de andre utdataene kunne ha vært.

Forestall en modell som forutsier morgendagens høytemperatur. Modellen kan generere utdata 21ºC, men usikkerhetskvantifisering av utdata kan indikere at modellen like gjerne kunne ha generert utdata 12 ºC, 15 ºC eller 16 ºC; når vi vet dette, hvor mye stoler vi nå på den enkle forutsigelsen av 20 ºC? Til tross for sin potensiale til å skape tillit eller å rådgive forsiktighet, velger mange organisasjoner å hoppe over usikkerhetskvantifisering på grunn av den ekstra arbeid de må gjøre for å implementere det, samt på grunn av kravene til beregningsressurser og inferenshastighet.

Menneske-i-løkken systemer, som medisinsk diagnose og prognose systemer, involverer mennesker som en del av beslutningsprosessen. Ved å blindt stole på dataene fra helse-AI/ML-løsninger, risikerer helsepersonale å misdiagnose en pasient, potensielt ledende til under-par helseutfall – eller verre. Usikkerhetskvantifisering kan tillate helsepersonale å se, kvantitativt, når de kan plassere mer tillit til utdataene fra AI og når de bør behandle bestemte forutsigelser med forsiktighet. Liknende, i et fullstendig automatisert system som en selvkjørende bil, kan utdata fra en modell for å estimere avstanden til et hindring kunne føre til en kollisjon som kunne ha vært unngått i nærvær av usikkerhetskvantifisering på avstandsestimatet.

Ufordringen med å utnytte Monte Carlo-metoder for å bygge tillit til AI/ML-modeller

Monte Carlo-metoder, utviklet under Manhattan-prosjektet, er en robust måte å utføre usikkerhetskvantifisering. De involverer å kjøre algoritmer på nytt med litt forskjellige innmatninger til flere iterasjoner ikke gir mye mer informasjon i utdataene; når prosessen når en slik tilstand, sies det å ha konvergert. En ulempe med Monte Carlo-metoder er at de vanligvis er langsomme og beregningsintensive, og krever mange repetisjoner av deres konstituerende beregninger for å få en konvergert utdata og har en innebygd variasjon over utdataene. Fordi Monte Carlo-metoder bruker utdata fra tilfeldige tallgeneratore som en av sine viktigste byggestener, endres resultatene du får når du gjentar prosessen med identiske parametre, selv om du kjører en Monte Carlo med mange interne repetisjoner.

Vei fremover til tillit i AI/ML-modeller

I motsetning til tradisjonelle servere og AI-spesifikke akseleratorer, utvikles det en ny type beregningplattformer som kan prosessere empiriske sannsynlighetsfordelinger på samme måte som tradisjonelle beregningsplattformer prosesserer heltall og flyttall. Ved å deployere sine AI-modeller på disse plattformene, kan organisasjonene automatisere implementeringen av usikkerhetskvantifisering på sine forhånds-trente modeller og kan også akselerere andre beregningsoppgaver som tradisjonelt har brukt Monte Carlo-metoder, som VaR-beregninger i finans. Spesielt for VaR-scenariet, tillater denne nye typen plattformer organisasjonene å arbeide med empiriske fordelinger bygget direkte fra virkelige markeddata, i stedet for å approksimere disse fordelingene med prøver generert av tilfeldige tallgeneratore, for mer nøyaktige analyser og raskere resultater.

Nylige gjennombrudd i beregning har betydelig senket barrierene for usikkerhetskvantifisering. En nylig forskningsartikkel publisert av mine kolleger og jeg, i Machine Learning With New Compute Paradigms workshop at NeurIPS 2024, høydepunkter hvordan en ny generasjons beregningsplattform vi utviklet enablet usikkerhetskvantifiseringanalyse å kjøre over 100 ganger raskere sammenlignet med å kjøre tradisjonelle Monte-Carlo-baserte analyser på en høykvalitets Intel-Xeon-basert server. Fremgang som disse tillater organisasjonene som deployer AI-løsninger å implementere usikkerhetskvantifisering med letthet og å kjøre slike usikkerhetskvantifiseringer med lav overhodet.

Fremtiden for AI/ML-tillit avhenger av avansert neste-generasjons beregning

Ettersom organisasjonene integrerer mer AI-løsninger i samfunnet, vil tillit i AI/ML bli en topprioritet. Bedrifter kan ikke lenger unngå å implementere fasiliteter i sine AI-modell-deployeringsprosesser for å tillate forbrukerne å vite når de bør behandle bestemte AI-modell-utdata med skepsis. Etterspørselen etter slike forklaringsmuligheter og usikkerhetskvantifisering er tydelig, med omtrent tre av fire personer som indikerer de ville være mer villige til å stole på et AI-system hvis passende sikkerhetsmekanismer var på plass.

Nye beregnings-teknologier gjør det stadig enklere å implementere og deployere usikkerhetskvantifisering. Mens industrien og regulatorene kjemper med andre utfordringer forbundet med å deployere AI i samfunnet, er det i det minste en mulighet til å skape tillit hos menneskene, ved å gjøre usikkerhetskvantifisering til normen i AI-deployeringsprosesser.