Prioriteit geven aan vertrouwen in AI

De afhankelijkheid van de samenleving van kunstmatige intelligentie (AI) en machine learning (ML)-toepassingen blijft groeien, waardoor de manier waarop informatie wordt geconsumeerd opnieuw wordt gedefinieerd. Van AI-gepowered chatbots tot informatie-syntheses die zijn gegenereerd met behulp van Large Language Models (LLM’s), heeft de samenleving toegang tot meer informatie en diepere inzichten dan ooit tevoren. Echter, terwijl technologiebedrijven racen om AI te implementeren in hun waardeketen, rijst een kritische vraag. Kunnen we de uitvoer van AI-oplossingen echt vertrouwen?

Kunnen we AI-uitvoer echt vertrouwen zonder onzekerheidskwantificering

Voor een bepaalde invoer kan een model veel andere even-plausibele uitvoeren hebben gegenereerd. Dit kan te wijten zijn aan onvoldoende trainingsgegevens, variaties in de trainingsgegevens of andere oorzaken. Wanneer modellen worden geïmplementeerd, kunnen organisaties onzekerheidskwantificering gebruiken om hun eindgebruikers een duidelijker begrip te geven van hoeveel ze de uitvoer van een AI/ML-model moeten vertrouwen. Onzekerheidskwantificering is het proces van schatten wat die andere uitvoeren hadden kunnen zijn.

Stel je een model voor dat de hoge temperatuur van morgen voorspelt. Het model kan de uitvoer 21ºC genereren, maar onzekerheidskwantificering die op die uitvoer wordt toegepast, kan aangeven dat het model net zo goed de uitvoeren 12 ºC, 15 ºC of 16 ºC had kunnen genereren; wetend dat, hoeveel vertrouwen hebben we nu in de eenvoudige voorspelling van 20 ºC? Ondanks het potentieel om vertrouwen te wekken of voorzichtigheid aan te moedigen, kiezen veel organisaties ervoor om onzekerheidskwantificering over te slaan vanwege de extra werkzaamheden die ze moeten uitvoeren om het te implementeren, evenals vanwege de eisen die het stelt aan rekenbronnen en inferentiesnelheid.

Human-in-the-loop-systemen, zoals medische diagnose- en prognosesystemen, betrekken mensen bij het beslissingsproces. Door blindelings te vertrouwen op de gegevens van AI/ML-oplossingen in de gezondheidszorg, lopen gezondheidsprofessionals het risico om een patiënt verkeerd te diagnosticeren, wat kan leiden tot minder dan optimale gezondheidsresultaten – of erger. Onzekerheidskwantificering kan gezondheidsprofessionals in staat stellen om te zien, kwantitatief, wanneer ze meer vertrouwen kunnen hebben in de uitvoer van AI en wanneer ze specifieke voorspellingen met voorzichtigheid moeten behandelen. Evenzo kan in een volledig geautomatiseerd systeem, zoals een zelfrijdende auto, de uitvoer van een model voor het schatten van de afstand van een obstakel leiden tot een crash die had kunnen worden vermeden met onzekerheidskwantificering op de afstandsschatting.

De uitdaging van het gebruik van Monte Carlo-methoden om vertrouwen in AI/ML-modellen op te bouwen

Monte Carlo-methoden, ontwikkeld tijdens het Manhattan-project, zijn een robuuste manier om onzekerheidskwantificering uit te voeren. Ze omvatten het opnieuw uitvoeren van algoritmen met licht verschillende invoeren totdat verdere iteraties niet veel meer informatie in de uitvoeren opleveren; wanneer het proces een dergelijke staat bereikt, wordt gezegd dat het is geconvergeerd. Een nadeel van Monte Carlo-methoden is dat ze typisch langzaam en rekenintensief zijn, waarbij veel herhalingen van hun constituerende berekeningen nodig zijn om een geconvergeerde uitvoer te verkrijgen en een inherente variabiliteit over die uitvoeren hebben. Omdat Monte Carlo-methoden de uitvoeren van willekeurige nummergeneratoren als een van hun belangrijkste bouwstenen gebruiken, zelfs wanneer u een Monte Carlo met veel interne herhalingen uitvoert, zullen de resultaten die u verkrijgt veranderen wanneer u het proces herhaalt met identieke parameters.

De weg naar vertrouwdheid in AI/ML-modellen

In tegenstelling tot traditionele servers en AI-specifieke accelerators, worden een nieuwe generatie rekenplatforms ontwikkeld om empirische kansverdelingen rechtstreeks te verwerken op dezelfde manier waarop traditionele rekenplatforms gehele getallen en drijvende-kommagetallen verwerken. Door hun AI-modellen op deze platforms te implementeren, kunnen organisaties de implementatie van onzekerheidskwantificering op hun vooraf getrainde modellen automatiseren en kunnen ze ook andere soorten rekenwerk versnellen die traditioneel Monte Carlo-methoden hebben gebruikt, zoals VaR-berekeningen in de financiële sector. In het bijzonder, voor het VaR-scenario, stelt deze nieuwe generatie platforms organisaties in staat om te werken met empirische verdelingen die rechtstreeks zijn opgebouwd uit echte marktgegevens, in plaats van deze verdelingen te benaderen met monsters gegenereerd door willekeurige nummergeneratoren, voor nauwkeurigere analyses en snellere resultaten.

Recente doorbraken in rekenwerk hebben de drempels voor onzekerheidskwantificering aanzienlijk verlaagd. Een recent onderzoeksartikel dat door mijn collega’s en mij is gepubliceerd in de Machine Learning With New Compute Paradigms workshop at NeurIPS 2024, benadrukt hoe een next-generation rekenplatform dat we hebben ontwikkeld onzekerheidskwantificeringsanalyses mogelijk maakte die meer dan 100 keer sneller liepen dan traditionele Monte-Carlo-gebaseerde analyses op een high-end Intel-Xeon-server. Vooruitgang zoals deze stelt organisaties die AI-oplossingen implementeren in staat om onzekerheidskwantificering gemakkelijk te implementeren en om dergelijke onzekerheidskwantificering uit te voeren met lage overheadkosten.

De toekomst van AI/ML-vertrouwdheid hangt af van geavanceerde next-generation rekenwerk

Naarmate organisaties meer AI-oplossingen in de samenleving integreren, zal vertrouwdheid in AI/ML een topprioriteit worden. Bedrijven kunnen het zich niet langer permitteren om faciliteiten in hun AI-modelimplementaties over te slaan die consumenten in staat stellen om te weten wanneer ze specifieke AI-modeluitvoeren met scepsis moeten behandelen. De vraag naar dergelijke verklarende en onzekerheidskwantificering is duidelijk, met ongeveer drie van de vier mensen die aangeven dat ze meer geneigd zouden zijn om een AI-systeem te vertrouwen als passende waarborgmechanismen ter plaatse waren.

Nieuwe reken technologieën maken het steeds gemakkelijker om onzekerheidskwantificering te implementeren en te deployen. Terwijl de industrie en regelgevende instanties worstelen met andere uitdagingen die samenhangen met het deployen van AI in de samenleving, is er tenminste een kans om het vertrouwen dat mensen nodig hebben te wekken, door onzekerheidskwantificering de norm te maken in AI-deployments.