Onderzoekers ontwikkelen “DeepTrust”-tool om vertrouwen in AI te vergroten

De veiligheid en betrouwbaarheid van kunstmatige intelligentie (AI) is een van de grootste aspecten van de technologie. Het wordt constant verbeterd en gewerkt door topexperts in de verschillende vakgebieden, en het zal cruciaal zijn voor de volledige implementatie van AI in de samenleving.

Sommige van deze nieuwe ontwikkelingen komen uit de University of Southern California, waar onderzoekers van de USC Viterbi Engineering een nieuwe tool hebben ontwikkeld die automatische indicatoren kan genereren voor de betrouwbaarheid van AI-algoritmes in hun gegevens en voorspellingen.

Het onderzoek is gepubliceerd in Frontiers in Artificial Intelligence, getiteld “There is Hope After All: Quantifying Opinion and Trustworthiness in Neural Networks”. De auteurs van het artikel zijn Mingxi Cheng, Shahin Nazarian en Paul Bogdan van de USC Cyber Physical Systems Group.

Betrouwbaarheid van neurale netwerken

Een van de grootste taken in dit gebied is het krijgen van neurale netwerken om voorspellingen te genereren die betrouwbaar zijn. In veel gevallen is dit wat de volledige adoptie van technologie die op AI gebaseerd is, tegenhoudt.

Bijvoorbeeld, zelfrijdende voertuigen moeten onafhankelijk kunnen handelen en accurate beslissingen nemen op autopiloot. Ze moeten in staat zijn om deze beslissingen extreem snel te nemen, terwijl ze objecten op de weg kunnen ontcijferen en herkennen. Dit is cruciaal, vooral in scenario’s waarin de technologie het verschil tussen een snelheidsbegrenzing, een ander object of een levend wezen moet kunnen ontcijferen.

Andere scenario’s omvatten het zelfrijdende voertuig dat beslissingen moet nemen wanneer een ander voertuig het frontaal tegenkomt, en de meest complexe beslissing van allemaal is of dat zelfrijdende voertuig moet beslissen tussen het raken van wat het waarneemt als een ander voertuig, een object of een levend wezen.

Dit betekent allemaal dat we een extreme hoeveelheid vertrouwen stellen in de mogelijkheid van de software van het zelfrijdende voertuig om de juiste beslissing te nemen in slechts fracties van een seconde. Het wordt nog moeilijker wanneer er conflicterende informatie is van verschillende sensoren, zoals computerzicht van camera’s en Lidar.

De hoofdauteur Minxi Cheng besloot dit project op te pakken nadat hij had nagedacht: “Zelfs mensen kunnen onzeker zijn in bepaalde beslissingsscenario’s. In gevallen met conflicterende informatie, waarom kunnen machines ons niet vertellen wanneer ze het niet weten?”

DeepTrust

De tool die door de onderzoekers is gemaakt, heet DeepTrust, en het kan de hoeveelheid onzekerheid kwantificeren, volgens Paul Bogdan, een associate professor in de Ming Hsieh Department of Electrical and Computer Engineering.

Het team heeft bijna twee jaar gewerkt aan DeepTrust, voornamelijk met behulp van subjectieve logica om de neurale netwerken te beoordelen. In een voorbeeld van de werking van de tool, kon het kijken naar de peilingen van de presidentsverkiezingen van 2016 en voorspellen dat er een grotere marge van fout was voor Hillary Clinton om te winnen.

De DeepTrust-tool maakt het ook gemakkelijker om de betrouwbaarheid van AI-algoritmes te testen die normaal gesproken zijn getraind op maximaal miljoenen datapunten. De andere manier om dit te doen is door onafhankelijk elk van de datapunten te controleren om de nauwkeurigheid te testen, wat een extreem tijdrovende taak is.

Volgens de onderzoekers is de architectuur van deze neurale netwerk systemen nauwkeuriger, en nauwkeurigheid en vertrouwen kunnen tegelijkertijd worden gemaximaliseerd.

“Volgens onze kennis is er geen vertrouwenskwantificatiemodel of -tool voor diepe leer, kunstmatige intelligentie en machine learning. Dit is de eerste aanpak en opent nieuwe onderzoeksrichtingen,” zegt Bogdan.

Bogdan gelooft ook dat DeepTrust kan helpen om AI vooruit te helpen tot het punt waarop het “bewust en adaptief” is.