Hybrid Human-Machine Framework Nyckel till smartare AI

Forskare vid University of California – Irvine har skapat en hybrid människa-maskin-ramverk som de säger är nyckeln till att bygga smartare artificiell intelligens (AI)-system. Studien involverade en ny matematisk modell som kan förbättra prestandan genom att kombinera mänskliga och algoritmiska förutsägelser och konfidenspoäng. 

Studien publicerades i Proceedings of the National Academy of Sciences. 

Människor vs. Maskinalgoritmer

Mark Steyvers är UCI-professor i kognitionsvetenskap och medförfattare till artikeln.

"Människor och maskinalgoritmer har kompletterande styrkor och svagheter. Var och en använder olika informationskällor och strategier för att göra förutsägelser och beslut, säger Steyvers. "Vi visar genom empiriska demonstrationer såväl som teoretiska analyser att människor kan förbättra förutsägelserna av AI även när mänsklig noggrannhet är något lägre än AI - och vice versa. Och denna noggrannhet är högre än att kombinera förutsägelser från två individer eller två AI-algoritmer." 

Forskarna testade ramverket genom att genomföra ett bildklassificeringsexperiment där mänskliga deltagare och datoralgoritmer arbetade separat för att korrekt identifiera förvrängda bilder av djur och vardagliga föremål. Dessa rankades sedan av de mänskliga deltagarna efter deras tilltro till exaktheten för varje bildidentifiering som låg, medium eller hög. Å andra sidan genererade maskinklassificeraren en kontinuerlig poäng. 

Genomföra tester

Resultaten av experimenten visade signifikanta skillnader i konfidensnivåer mellan människor och AI.

Padhraic Smyth är en UCI-kanslerprofessor i datavetenskap och medförfattare till artikeln. 

"I vissa fall var mänskliga deltagare ganska säkra på att en viss bild innehöll en stol, till exempel, medan AI-algoritmen var förvirrad om bilden," sa Smyth. "På liknande sätt kunde AI-algoritmen för andra bilder tillhandahålla en etikett för det visade objektet, medan mänskliga deltagare var osäkra på om den förvrängda bilden innehöll något igenkännbart objekt." 

Forskarna använde sitt nya ramverk för att kombinera förutsägelser och konfidenspoäng från både människor och AI, och hybridmodellen uppnådde bättre prestanda än enbart mänskliga eller maskinella förutsägelser. 

"Medan tidigare forskning har visat fördelarna med att kombinera maskinförutsägelser eller att kombinera mänskliga förutsägelser - den så kallade "massornas visdom" - skapar detta arbete en ny riktning för att demonstrera potentialen i att kombinera mänskliga och maskinella förutsägelser, vilket pekar på nya och förbättrade tillvägagångssätt för samarbete mellan människa och AI”, fortsatte Smyth. 

Det nya projektet som ansvarar för att utveckla detta ramverk organiserades av Irvine Initiative in AI, Law, and Society, som vill ge djupare insikt i hur människor och maskiner samarbetar för att skapa mer exakta AI-system. 

I forskningen ingick även medförfattarna Heliodoro Tejada och Gavin Kerrigan. Heliodoro är en UCI doktorand i kognitionsvetenskap, och Kerrigan är en UCI Ph.D. student i datavetenskap.