Hybride mens-machine-kader is sleutel tot slimmere AI

Onderzoekers aan de University of California – Irvine hebben een hybride mens-machine-kader ontwikkeld dat volgens hen de sleutel is tot het bouwen van slimmere kunstmatige intelligentie (AI)-systemen. De studie omvatte een nieuw wiskundig model dat de prestaties kan verbeteren door menselijke en algoritmische voorspellingen en betrouwbaarheidscores te combineren.

De studie werd gepubliceerd in Proceedings of the National Academy of Sciences.

Mensen vs. machine-algoritmen

Mark Steyvers is UCI-hoogleraar cognitieve wetenschappen en co-auteur van het artikel.

“Mensen en machine-algoritmen hebben complementaire sterke en zwakke punten. Elk gebruikt verschillende informatiebronnen en strategieën om voorspellingen en beslissingen te nemen,” zei Steyvers. “We laten door middel van empirische demonstraties en theoretische analyses zien dat mensen de voorspellingen van AI kunnen verbeteren, zelfs als de menselijke nauwkeurigheid enigszins lager is dan die van de AI – en vice versa. En deze nauwkeurigheid is hoger dan het combineren van voorspellingen van twee individuen of twee AI-algoritmen.”

De onderzoekers testten het kader door een beeldclassificatie-experiment uit te voeren waarbij menselijke deelnemers en computer-algoritmen afzonderlijk werkten om verdraaide afbeeldingen van dieren en alledaagse voorwerpen correct te identificeren. Deze werden vervolgens gerangschikt door de menselijke deelnemers naar hun vertrouwen in de nauwkeurigheid van elke afbeeldingsidentificatie als laag, gemiddeld of hoog. Aan de andere kant genereerde de machine-classificator een continue score.

Uitvoeren van tests

De resultaten van de experimenten toonden significante verschillen in vertrouwensniveaus tussen mensen en AI.

Padhraic Smyth is een UCI-hoogleraar informatica en co-auteur van het artikel.

“In sommige gevallen waren de menselijke deelnemers zeer vertrouwd dat een bepaalde afbeelding een stoel bevatte, bijvoorbeeld, terwijl het AI-algoritme in de war was over de afbeelding,” zei Smyth. “Evenzo waren er voor andere afbeeldingen waarbij het AI-algoritme met vertrouwen een label kon geven voor het object dat werd getoond, terwijl de menselijke deelnemers onzeker waren of de verdraaide afbeelding een herkenbaar object bevatte.”

De onderzoekers gebruikten hun nieuwe kader om de voorspellingen en betrouwbaarheidscores van zowel mensen als AI te combineren, en het hybride model behaalde betere prestaties dan alleen menselijke of machine-voorspellingen.

“Terwijl eerder onderzoek de voordelen van het combineren van machine-voorspellingen of het combineren van menselijke voorspellingen heeft aangetoond – de zogenaamde ‘wijsheid van de menigte’ – baant dit onderzoek een nieuwe weg door te laten zien dat het combineren van menselijke en machine-voorspellingen potentieel heeft en wijst op nieuwe en verbeterde benaderingen van mens-AI-samenwerking,” vervolgde Smyth.

Het nieuwe project dat verantwoordelijk is voor de ontwikkeling van dit kader werd georganiseerd door de Irvine Initiative in AI, Law, and Society, die dieper inzicht wil bieden in hoe mensen en machines samenwerken om nauwkeurigere AI-systemen te creëren.

Het onderzoek omvatte ook mede-auteurs Heliodoro Tejada en Gavin Kerrigan. Heliodoro is een UCI-graduate student in cognitieve wetenschappen, en Kerrigan is een UCI-promovendus in informatica.