AI-forskare utvecklar snabb metod för att beräkna konfidensintervall, rapporterar när modellen inte bör litas

Forskare från MIT har nyligen utvecklat en teknik som möjliggör för djupinlärningsnätverksmodeller att snabbt beräkna konfidensnivåer, vilket kan hjälpa dataforskare och andra AI-användare att veta när de kan lita på förutsägelserna från en modell.

AI-system baserade på artificiella neurala nätverk är ansvariga för allt fler beslut dessa dagar, inklusive många beslut som involverar människors hälsa och säkerhet. På grund av detta bör neurala nätverk ha någon metod för att uppskatta konfidensen i sina utdata, vilket möjliggör för dataforskare att avgöra hur tillförlitliga deras förutsägelser är. Nyligen utformade ett team av forskare från Harvard och MIT en snabb metod för neurala nätverk att generera en indikation på en modells konfidens tillsammans med dess förutsägelser.

Djupinlärningsmodeller har blivit allt mer avancerade under det senaste decenniet och kan nu enkelt överträffa människor på dataklassificeringsuppgifter. Djupinlärningsmodeller används i områden där människors hälsa och säkerhet kan vara i fara om de misslyckas, såsom att köra autonoma fordon och diagnostisera medicinska tillstånd från skanningsbilder. I dessa fall räcker det inte att en modell är 99% exakt, de 1% av fallen då modellen misslyckas kan potentiellt leda till katastrof. Därför måste det finnas ett sätt för dataforskare att avgöra hur tillförlitlig en given förutsägelse är.

Det finns ett antal sätt att generera en konfidensintervall tillsammans med neurala nätverks förutsägelser, men traditionella metoder för att uppskatta osäkerhet för ett neuralt nätverk är ganska långsamma och beräkningskrävande. Neurala nätverk kan vara otroligt stora och komplexa, fyllda med miljarder parametrar. Att bara generera förutsägelser kan vara beräkningskrävande och ta en betydande mängd tid, och att generera en konfidensnivå för förutsägelserna tar ännu längre tid. De flesta tidigare metoder för att kvantifiera osäkerhet har förlitat sig på sampling eller att köra ett nätverk upprepat för att få en uppskattning av dess konfidens. Detta är inte alltid möjligt för applikationer som kräver höghastighetsdata.

Enligt MIT News leder Alexander Amini den kombinerade forskargruppen från MIT och Harvard, och enligt Amini accelererar metoden som utvecklats av deras forskare processen att generera osäkerhetsuppskattningar med hjälp av en teknik som kallas “deep evidential regression”. Amini förklarade via MIT att dataforskare behöver både höghastighetsmodeller och tillförlitliga uppskattningar av osäkerhet så att o tillförlitliga modeller kan urskiljas. För att bevara både modellens hastighet och generera en osäkerhetsuppskattning utformade forskarna ett sätt att uppskatta osäkerhet från bara ett enda körning av modellen.

Forskarna utformade det neurala nätverksmodellen på ett sådant sätt att en sannolikhetsfördelning genererades tillsammans med varje beslut. Nätverket behåller bevis för sina beslut under utbildningsprocessen, vilket genererar en sannolikhetsfördelning baserad på bevisen. Den evidentiella fördelningen representerar modellens konfidens, och den representerar osäkerhet för både modellens slutliga beslut och de ursprungliga indata. Att fånga osäkerhet för både indata och beslut är viktigt, eftersom minskning av osäkerhet är beroende av att känna till källan till osäkerheten.

Forskarna testade sin osäkerhetsuppskattningsmetod genom att tillämpa den på en datorseendeuppgift. Efter att modellen hade tränats på en serie bilder genererade den både förutsägelser och osäkerhetsuppskattningar. Nätverket projicerade korrekt hög osäkerhet för instanser där fel förutsägelse gjordes. “Det var mycket kalibrerat till felen som nätverket gör, vilket vi tror var en av de viktigaste sakerna i att bedöma kvaliteten på en ny osäkerhetsuppskattare”, sa Amini om modellens testresultat.

Forskningsgruppen genomförde ytterligare tester med sin nätverksarkitektur. För att utsätta tekniken för stress testade de också data på “out-of-distribution”-data, datamängder bestående av objekt som nätverket aldrig hade sett förut. Som förväntat rapporterade nätverket högre osäkerhet för dessa osynliga objekt. När det tränades på inomhusmiljöer visade nätverket hög osäkerhet när det testades på bilder från utomhusmiljöer. Testerna visade att nätverket kunde belysa när dess beslut var föremål för hög osäkerhet och inte borde lita på i vissa högrisk situationer.

Forskningsgruppen rapporterade till och med att nätverket kunde urskilja när bilder hade manipulerats. När forskargruppen ändrade foton med adversarial brus märkte nätverket de nyligen ändrade bilderna med höga osäkerhetsuppskattningar, trots att effekten var för subtil för att ses av den genomsnittliga mänskliga observatören.

Om tekniken visar sig vara tillförlitlig kan deep evidential regression förbättra säkerheten för AI-modeller i allmänhet. Enligt Amini kan deep evidential regression hjälpa människor att fatta noggranna beslut när de använder AI-modeller i riskfyllda situationer. Som Amini förklarade via MIT News:

“Vi börjar se allt fler av dessa [neurala nätverks] modeller komma ut från forskningslaboratoriet och in i den verkliga världen, in i situationer som berör människor med potentiellt livshotande konsekvenser. Varje användare av metoden, antingen det är en läkare eller en person i passagerarsätet i ett fordon, behöver vara medveten om eventuella risker eller osäkerheter som är förknippade med det beslutet.”