Teknologi gjør det mulig for AI å tenke langt inn i fremtiden

Et team av forskere fra MIT, MIT-IBM Watson AI Lab og andre institusjoner har utviklet en ny tilnærming som gjør det mulig for kunstig intelligens (AI) å oppnå et langtidspektiv. Med andre ord kan AI tenke langt inn i fremtiden når de vurderer hvordan deres atferd kan inkludere atferden til andre AI-agenter når de fullfører en oppgave. 

Forskningen er satt til å bli presentert på Conference on Neural Information Processing Systems.

AI som vurderer andre agenter sine fremtidige handlinger

Det maskinlæringsrammeverket som teamet har utviklet, gjør det mulig for samarbeidende eller konkurranse-orienterte AI-agenter å vurdere hva andre agenter kommer til å gjøre. Dette er ikke bare over de neste stegene, men snarere når tiden nærmer seg uendelig. Agentene tilpasser sine atferd iht. for å påvirke andre agenter sine fremtidige atferd, og hjelper dem å nå optimale, langsiktige løsninger. 

Ifølge teamet kan rammeverket bli brukt, for eksempel, av en gruppe autonome droner som arbeider sammen for å finne en savnet turist. Det kan også bli brukt av selvkjørende kjøretøy for å forutse fremtidige bevegelser hos andre kjøretøy for å forbedre passasjersikkerheten.

Dong-Ki Kim er en PhD-student ved MIT Laboratory for Information and Decision Systems (LIDS) og hovedforfatter av forskningsrapporten. 

“Når AI-agenter samarbeider eller konkurrerer, er det viktigste når deres atferd konvergerer på et visst tidspunkt i fremtiden,” sier Kim. “Det er mange midlertidige atferd langs veien som ikke betyr så mye på lang sikt. Å nå denne konvergerte atferden er det vi virkelig bryr oss om, og vi har nå en matematisk måte å muliggjøre det på.”

Problemet som forskerne har løst, kalles multi-agent forsterkninglæring, med forsterkninglæring som en form for maskinlæring hvor AI-agenter lærer gjennom prøving og feiling. 

Når det er flere samarbeidende eller konkurranse-orienterte agenter som lærer samtidig, kan prosessen bli mye mer kompleks. Når agenter vurderer flere fremtidige steg for andre agenter, samt deres egen atferd og hvordan den påvirker andre, krever problemet for mye beregningskraft. 

AI som tenker om uendelig

“AI-agenter ønsker virkelig å tenke om slutten av spillet, men de vet ikke når spillet vil slutte,” sier Kim. “De må tenke om hvordan de kan tilpasse sin atferd inn i uendelig så de kan vinne på et visst tidspunkt i fremtiden. Vår rapport foreslår i praksis et nytt mål som gjør det mulig for AI å tenke om uendelig.” 

Det er umulig å integrere uendelig i en algoritme, så teamet designet systemet på en måte som gjør at agentene fokuserer på et fremtidig punkt hvor deres atferd vil konvergere med andre agenter. Dette kalles likevekt, og et likevekts-punkt bestemmer agentenes langsiktige ytelse. 

Det er mulig for flere likevekter å eksistere i en multi-agent-scenario, og når en effektiv agent aktivt påvirker fremtidige atferd hos andre agenter, kan de nå en ønskelig likevekt fra agentens perspektiv. Når alle agenter påvirker hverandre, konvergerer de mot en generell konsept som kalles en “aktiv likevekt”. 

FURTHER-rammeverk

Teamets maskinlæringsrammeverk kalles FURTHER, og det gjør det mulig for agenter å lære hvordan de kan tilpasse sin atferd basert på deres interaksjoner med andre agenter for å nå aktiv likevekt. 

Rammeverket avhenger av to maskinlæringsmoduler. Den første er en inferensmodul som gjør det mulig for en agent å gjette fremtidige atferd hos andre agenter og læring salgoritmer de bruker basert på tidligere handlinger. Informasjonen blir deretter sendt til forsterkninglæringmodulen, som agenten avhenger av for å tilpasse sin atferd og påvirke andre agenter. 

“Utfordringen var å tenke om uendelig. Vi måtte bruke mange forskjellige matematiske verktøy for å muliggjøre det, og gjøre noen antagelser for å få det til å fungere i praksis,” sier Kim. 

Teamet testet sin metode mot andre multi-agent forsterkninglæringsrammeverk i forskjellige scenarier hvor AI-agenter som brukte FURTHER kom ut på topp. 

Tilnærmingen er desentralisert, så agentene lærer å vinne uavhengig. I tillegg er det bedre designet for å skaleres sammenlignet med andre metoder som krever en sentral datamaskin for å kontrollere agentene. 

Ifølge teamet kan FURTHER bli brukt i en rekke multi-agent-problemer. Kim er spesielt håpefull for dens anvendelser i økonomi, hvor det kan bli brukt til å utvikle lydhør politikk i situasjoner som involverer mange samhandlende enheter med atferd og interesser som endrer seg over tid.