Onderzoekers ontwikkelen snelle methode om betrouwbaarheidsintervallen te berekenen en melden wanneer een model niet te vertrouwen is

Onderzoekers van het MIT hebben onlangs een techniek ontwikkeld die diepe neurale netwerken in staat stelt om snel betrouwbaarheidsniveaus te berekenen, wat datawetenschappers en andere AI-gebruikers kan helpen om te weten wanneer ze de voorspellingen van een model kunnen vertrouwen.

AI-systemen op basis van kunstmatige neurale netwerken nemen tegenwoordig steeds meer beslissingen, waaronder veel beslissingen die de gezondheid en veiligheid van mensen betreffen. Vanwege dit feit moeten neurale netwerken een methode hebben om de betrouwbaarheid van hun uitvoer te schatten, zodat datawetenschappers kunnen bepalen hoe betrouwbaar hun voorspellingen zijn. Onlangs ontwierp een team van onderzoekers van Harvard en MIT een snelle manier voor neurale netwerken om een indicatie van de betrouwbaarheid van een model te genereren naast hun voorspellingen.

Diepe leermodellen zijn de afgelopen decade steeds geavanceerder geworden en kunnen nu gemakkelijk beter presteren dan mensen bij taken voor gegevensclassificatie. Diepe leermodellen worden gebruikt in gebieden waar de gezondheid en veiligheid van mensen in gevaar kunnen komen als ze falen, zoals het besturen van autonome voertuigen en het diagnosticeren van medische aandoeningen op basis van scans. In deze gevallen is het niet voldoende dat een model 99% nauwkeurig is, want de 1% van de keren dat het model faalt, kan leiden tot een ramp. Daarom moet er een manier zijn voor datawetenschappers om te bepalen hoe betrouwbaar een bepaalde voorspelling is.

Er zijn een aantal manieren om een betrouwbaarheidsinterval te genereren naast de voorspellingen van neurale netwerken, maar traditionele methoden voor het schatten van onzekerheid voor een neurale netwerk zijn vrij traag en computationeel duur. Neurale netwerken kunnen enorm groot en complex zijn, met miljarden parameters. Het genereren van voorspellingen kan al computationeel duur zijn en veel tijd in beslag nemen, en het genereren van een betrouwbaarheidsniveau voor de voorspellingen duurt nog langer. De meeste voorgaande methoden voor het kwantificeren van onzekerheid zijn gebaseerd op steekproeven of het herhaaldelijk uitvoeren van een netwerk om een schatting van de betrouwbaarheid te krijgen. Dit is niet altijd haalbaar voor toepassingen die hoge verkeersvolumes vereisen.

Volgens MIT News leidt Alexander Amini het gecombineerde team van onderzoekers van MIT en Harvard, en volgens Amini versnelt de door hun onderzoekers ontwikkelde methode het proces van het genereren van onzekerheidschattingen met behulp van een techniek genaamd “diepe evidentiële regressie”. Amini legde via MIT uit dat datawetenschappers zowel snelle modellen als betrouwbare schattingen van onzekerheid nodig hebben, zodat onbetrouwbare modellen kunnen worden onderscheiden. Om zowel de snelheid van het model als de generatie van een onzekerheidschatting te behouden, ontwierpen de onderzoekers een manier om onzekerheid te schatten uit slechts één run van het model.

De onderzoekers ontwierpen het neurale netwerkmodel op zo’n manier dat een probabilistische verdeling werd gegenereerd naast elke beslissing. Het netwerk houdt bewijs voor zijn beslissingen vast tijdens het trainingsproces en genereert een waarschijnlijkheidsverdeling op basis van het bewijs. De evidentiële verdeling vertegenwoordigt de betrouwbaarheid van het model en vertegenwoordigt onzekerheid voor zowel de uiteindelijke beslissing van het model als de oorspronkelijke invoergegevens. Het vastleggen van onzekerheid voor zowel invoergegevens als beslissingen is belangrijk, omdat het reduceren van onzekerheid afhankelijk is van het kennen van de bron van de onzekerheid.

De onderzoekers testten hun onzekerheidschattingstechniek door deze toe te passen op een computer-visietaken. Nadat het model was getraind op een reeks afbeeldingen, genereerde het zowel voorspellingen als onzekerheidschattingen. Het netwerk projecteerde correct een hoge onzekerheid voor gevallen waarin de verkeerde voorspelling werd gedaan. “Het was zeer gekalibreerd naar de fouten die het netwerk maakt, wat we geloven een van de belangrijkste dingen is bij het beoordelen van de kwaliteit van een nieuwe onzekerheidschatting”, zei Amini over de testresultaten van het model.

Het onderzoeksteam voerde meer tests uit met hun netwerkarchitectuur. Om de techniek te belasten, testten ze het ook op “uit-de-verdeling”-gegevens, datasets bestaande uit objecten die het netwerk nooit eerder had gezien. Zoals verwacht, meldde het netwerk een hogere onzekerheid voor deze ongeziene objecten. Wanneer getraind op binnenmilieus, toonde het netwerk een hoge onzekerheid wanneer getest op afbeeldingen van buitenmilieus. De tests toonden aan dat het netwerk kon aangeven wanneer zijn beslissingen onderhevig waren aan hoge onzekerheid en niet te vertrouwen waren in bepaalde, risicovolle omstandigheden.

Het onderzoeksteam meldde zelfs dat het netwerk kon bepalen wanneer afbeeldingen waren gemanipuleerd. Wanneer het onderzoeksteam foto’s had gemanipuleerd met tegenwerkende ruis, markeerde het netwerk de nieuw gemanipuleerde afbeeldingen met hoge onzekerheidschattingen, ondanks het feit dat het effect te subtiel was om door de gemiddelde menselijke waarnemer te worden opgemerkt.

Als de techniek betrouwbaar blijkt te zijn, kan diepe evidentiële regressie de veiligheid van AI-modellen in het algemeen verbeteren. Volgens Amini kan diepe evidentiële regressie mensen helpen om zorgvuldige beslissingen te nemen wanneer ze AI-modellen in risicovolle situaties gebruiken. Zoals Amini via MIT News uitlegde:

“We zien steeds meer van deze [neurale netwerk]modellen uit het onderzoeksgebied en in de echte wereld terechtkomen, in situaties die mensen met potentieel levensbedreigende gevolgen raken. Elke gebruiker van de methode, of het nu een arts is of iemand in de passagiersstoel van een voertuig, moet zich bewust zijn van elk risico of onzekerheid dat met die beslissing is verbonden.”