Hybrid Människa-Maskin-Ramverk Nyckel till Smartare AI

Forskare vid University of California – Irvine har skapat ett hybridmänniska-maskin-ramverk som de säger är nyckeln till att bygga smartare artificiell intelligens (AI)-system. Studien innefattade en ny matematisk modell som kan förbättra prestanda genom att kombinera mänskliga och algoritmiska förutsägelser och förtroendepoäng.

Studien publicerades i Proceedings of the National Academy of Sciences.

Människor vs. Maskinalgoritmer

Mark Steyvers är UCI-professor i kognitiva vetenskaper och medförfattare till artikeln.

“Människor och maskinalgoritmer har kompletterande styrkor och svagheter. Var och en använder olika källor till information och strategier för att göra förutsägelser och beslut”, säger Steyvers. “Vi visar genom empiriska demonstrationer samt teoretiska analyser att människor kan förbättra AI:s förutsägelser även när mänsklig noggrannhet är något lägre än AI:s — och vice versa. Och denna noggrannhet är högre än att kombinera förutsägelser från två individer eller två AI-algoritmer.”

Forskarna testade ramverket genom att utföra ett bildklassificeringsexperiment där mänskliga deltagare och datoralgoritmer arbetade separat för att korrekt identifiera förvrängda bilder av djur och vardagsföremål. Dessa rankades sedan av de mänskliga deltagarna efter deras förtroende för varje bildidentifiering som låg, medium eller hög. Å andra sidan genererade maskinklassificeringen en kontinuerlig poäng.

Genomförande av Tester

Resultaten från experimenten visade signifikanta skillnader i förtroendenivåer mellan människor och AI.

Padhraic Smyth är UCI-kanslerprofessor i datavetenskap och medförfattare till artikeln.

“I vissa fall var de mänskliga deltagarna ganska säkra på att en viss bild innehöll en stol, till exempel, medan AI-algoritmen var förvirrad över bilden”, säger Smyth. “Likaså, för andra bilder, kunde AI-algoritmen med förtroende tillhandahålla en etikett för objektet som visas, medan de mänskliga deltagarna var osäkra på om den förvrängda bilden innehöll något igenkännligt objekt.”

Forskarna använde sitt nya ramverk för att kombinera förutsägelser och förtroendepoäng från både människor och AI, och den hybrida modellen uppnådde bättre prestanda än antingen mänskliga eller maskinförutsägelser ensamma.

“Medan tidigare forskning har visat fördelarna med att kombinera maskinförutsägelser eller kombinera mänskliga förutsägelser — den så kallade ’visdomen i folkmassan’ — banar detta arbete upp en ny riktning i att demonstrera potentialen i att kombinera mänskliga och maskinförutsägelser, vilket pekar mot nya och förbättrade tillvägagångssätt för mänsklig-AI-samarbete”, fortsätter Smyth.

Det nya projektet som utvecklat detta ramverk organiserades av Irvine Initiative in AI, Law, and Society, som syftar till att ge en djupare insikt i hur människor och maskiner samarbetar för att skapa mer exakta AI-system.

Forskningen inkluderade även medförfattarna Heliodoro Tejada och Gavin Kerrigan. Heliodoro är en UCI-student i kognitiva vetenskaper, och Kerrigan är en UCI-doktorand i datavetenskap.