Prioritering af tillid til AI

Samfundets afhængighed af kunstig intelligens (AI) og maskinlæringsapplikationer (ML) fortsætter med at vokse og omdefinerer, hvordan informationer indtages. Fra AI-drevne chatbots til informationsanalyser, der er produceret fra store sprogmodeller (LLM’er), har samfundet adgang til mere information og dybere indsigt end nogensinde før. Men da teknologivirksomheder konkurrerer om at implementere AI på tværs af deres værdikæde, rejser en kritisk spørgsmål sig. Kan vi virkelig stole på AI-løsningernes output?

Kan vi virkelig stole på AI-output uden usikkerhedsquantificering

For en given indgang, kan en model have genereret mange andre lige så plausibler output. Dette kan skyldes utilstrækkelige træningsdata, variationer i træningsdataene eller andre årsager. Når modellerne deployes, kan organisationer udnytte usikkerhedsquantificering for at give deres slutbrugere en klarere forståelse af, hvor meget de skal stole på outputtet af en AI/ML-model. Usikkerhedsquantificering er processen med at estimere, hvad de andre output kunne have været.

Forestil dig en model, der forudser i morgen temperatur. Modellen kan generere outputtet 21ºC, men usikkerhedsquantificering anvendt på dette output kan indikere, at modellen lige så godt kunne have genereret outputtet 12 ºC, 15 ºC eller 16 ºC; ved at vide dette, hvor meget stoler vi nu på den simple forudsigelse af 20 ºC? Trods sin potentiale til at skabe tillid eller til at råde til forsigtighed, vælger mange organisationer at springe usikkerhedsquantificering over på grund af den ekstra arbejde, de skal udføre for at implementere det, samt på grund af dens krav til beregningsressourcer og inferenshastighed.

Menneske-i-løkken-systemer, såsom medicinske diagnose- og prognosesystemer, involverer mennesker som en del af beslutningsprocessen. Ved blindt at stole på data fra sundheds-AI/ML-løsninger, risikerer sundhedsprofessionelle at misdiagnosticere en patient, hvilket kan føre til underpar health outcomes – eller værre. Usikkerhedsquantificering kan tillade sundhedsprofessionelle at se, kvantitativt, når de kan stole mere på outputtet af AI og når de skal behandle bestemte forudsigelser med forsigtighed. Ligesom i et fuldt automatiseret system, såsom en selvstyrende bil, kan outputtet af en model til at estimere afstanden til et hinder føre til en ulykke, der kunne være undgået i tilstedeværelse af usikkerhedsquantificering på afstandsestimationen.

Udfordringen ved at udnytte Monte Carlo-metoder til at opbygge tillid til AI/ML-modeller

Monte Carlo-metoder, udviklet under Manhattan-projektet, er en robust måde at udføre usikkerhedsquantificering på. De indebærer at køre algoritmerne gentagne gange med lidt forskellige indgange, indtil yderligere iterationer ikke giver meget mere information i outputtet; når processen når sådanne en tilstand, siges den at have konvergeret. En ulempe ved Monte Carlo-metoder er, at de typisk er langsomme og beregningsintensive, og kræver mange gentagelser af deres bestanddele til at opnå et konvergeret output og have en indbygget variabilitet på tværs af disse output. Fordi Monte Carlo-metoder bruger output fra tilfældige talgeneratorer som en af deres vigtigste byggesten, vil resultaterne ændre sig, når du gentager processen med identiske parametre.

Vejen frem til tillid i AI/ML-modeller

I modsætning til traditionelle servere og AI-specifikke acceleratorer udvikles en ny type beregningssystemer til at behandle empiriske sandsynlighedsfordelinger på samme måde, som traditionelle beregningssystemer behandler heltal og flydende punkt-værdier. Ved at deploye deres AI-modeller på disse platforme kan organisationer automatisere implementeringen af usikkerhedsquantificering på deres forudtrænede modeller og kan også accelerere andre beregningsopgaver, der traditionelt har brugt Monte Carlo-metoder, såsom VaR-beregninger i finans. I særdeleshed for VaR-scenariet tillader denne nye type platforme organisationer at arbejde med empiriske fordelinger bygget direkte fra rigtige markeddata, i stedet for at approksimere disse fordelinger med samples genereret af tilfældige talgeneratorer, for mere præcise analyser og hurtigere resultater.

Reciente gennembrud i beregning har betydeligt reduceret barriererne for usikkerhedsquantificering. En nylig forskningsartikel, som mine kolleger og jeg har publiceret i Machine Learning With New Compute Paradigms workshop på NeurIPS 2024, fremhæver, hvordan en ny generation af beregningsplatforme, vi har udviklet, har muliggjort usikkerhedsquantificeringsanalyse til at køre over 100 gange hurtigere sammenlignet med traditionelle Monte-Carlo-baserede analyser på en højkvalitets Intel-Xeon-baseret server. Fremgang som denne giver organisationer, der deployer AI-løsninger, mulighed for at implementere usikkerhedsquantificering med lette og køre sådanne usikkerhedsquantificeringer med lavt overhead.

Fremtiden for AI/ML-tillid afhænger af avanceret næste-generations-beregning

Da organisationer integrerer flere AI-løsninger i samfundet, vil tillid til AI/ML blive en top-prioritet. Virksomheder kan ikke længere undgå at implementere faciliteter i deres AI-model-deployeringer, der giver forbrugerne mulighed for at vide, hvornår de skal behandle bestemte AI-model-output med skepsis. Efterspørgslen efter sådan forklarings- og usikkerhedsquantificering er tydelig, med omkring tre af fire mennesker, der indikerer, at de ville være mere villige til at stole på et AI-system, hvis passende sikkerhedsforanstaltninger var på plads.

Nye beregnings-teknologier gør det stadig lettere at implementere og deployere usikkerhedsquantificering. Mens industrien og reguleringssystemer kæmper med andre udfordringer i forbindelse med at deployere AI i samfundet, er der i hvert fald en mulighed for at skabe den tillid, mennesker kræver, ved at gøre usikkerhedsquantificering til normen i AI-deployeringer.