Teknik möjliggör att AI kan tänka långt in i framtiden

Ett team av forskare från MIT, MIT-IBM Watson AI Lab och andra institutioner har utvecklat en ny approach som möjliggör att artificiell intelligens (AI) kan uppnå en långsiktig perspektiv. Med andra ord kan AI tänka långt in i framtiden när de överväger hur deras beteenden kan inkludera beteenden från andra AI-agenter när de slutför en uppgift. 

Forskningen kommer att presenteras på konferensen Conference on Neural Information Processing Systems.

AI som överväger andra agenter’s framtida handlingar

Det maskinlärningsramverk som teamet skapat möjliggör för samarbetande eller konkurrerande AI-agenter att överväga vad andra agenter kommer att göra. Detta är inte bara över de nästa stegen utan snarare när tiden närmar sig oändlighet. Agenterna anpassar sitt beteende enligt för att påverka andra agenter’s framtida beteenden, vilket hjälper dem att nå optimala, långsiktiga lösningar. 

Enligt teamet kan ramverket användas till exempel av en grupp autonoma drönare som arbetar tillsammans för att hitta en förlorad vandrare. Det kan också användas av självkörande fordon för att förutse framtida rörelser av andra fordon för att förbättra passagerarsäkerheten.

Dong-Ki Kim är en doktorand i MIT Laboratory for Information and Decision Systems (LIDS) och huvudförfattare till forskningspappret. 

“När AI-agenter samarbetar eller konkurrerar är det viktigaste när deras beteenden konvergerar vid någon punkt i framtiden”, säger Kim. “Det finns många övergående beteenden längs vägen som inte betyder så mycket på lång sikt. Att nå detta konvergerade beteende är vad vi verkligen bryr oss om, och vi har nu ett matematiskt sätt att möjliggöra det.”

Problemet som forskarna har angripit kallas multi-agent förstärkt inlärning, där förstärkt inlärning är en form av maskinlärning där AI-agenter lär sig genom trial and error. 

När det finns flera samarbetande eller konkurrerande agenter som samtidigt lär sig, kan processen bli mycket mer komplex. När agenter överväger fler framtida steg av andra agenter, samt deras eget beteende och hur det påverkar andra, kräver problemet för mycket beräkningskraft. 

AI som tänker om oändlighet

“AI vill verkligen tänka om spelets slut, men de vet inte när spelet kommer att sluta”, säger Kim. “De måste tänka om hur de kan anpassa sitt beteende in i oändlighet så att de kan vinna vid någon avlägsen tidpunkt i framtiden. Vår artikel föreslår i princip ett nytt mål som möjliggör för AI att tänka om oändlighet.” 

Det är omöjligt att integrera oändlighet i ett algoritm, så teamet utformade systemet på ett sätt som agenterna fokuserar på en framtida punkt där deras beteende kommer att konvergera med andra agenter. Detta kallas för jämvikt, och en jämviktspunkt bestämmer agenternas långsiktiga prestation. 

Det är möjligt för flera jämvikter att existera i en multi-agent-scenario, och när en effektiv agent aktivt påverkar framtida beteenden av andra agenter, kan de nå en önskvärd jämvikt från agentens perspektiv. När alla agenter påverkar varandra, konvergerar de till en allmän koncept som kallas för en “aktiv jämvikt”. 

FURTHER-ramverk

Teamets maskinlärningsramverk kallas FURTHER, och det möjliggör för agenter att lära sig hur de kan anpassa sitt beteende baserat på deras interaktioner med andra agenter för att uppnå aktiv jämvikt. 

Ramverket bygger på två maskinlärningsmoduler. Den första är en inferensmodul som möjliggör för en agent att gissa framtida beteenden av andra agenter och de inlärningsalgoritmer de använder baserat på tidigare åtgärder. Informationen matas sedan in i förstärkt inlärningsmodul, som agenten förlitar sig på för att anpassa sitt beteende och påverka andra agenter. 

“Utmaningen var att tänka om oändlighet. Vi var tvungna att använda många olika matematiska verktyg för att möjliggöra det, och göra vissa antaganden för att få det att fungera i praktiken”, säger Kim. 

Teamet testade sin metod mot andra multi-agent förstärkt inlärningsramverk i olika scenarier där AI-agenter som använder FURTHER kom ut som vinnare. 

Tillvägagångssättet är decentraliserat, så agenterna lär sig att vinna oberoende. Dessutom är det bättre utformat för att skala jämfört med andra metoder som kräver en central dator för att kontrollera agenterna. 

Enligt teamet kan FURTHER användas i en mängd olika multi-agentproblem. Kim är särskilt hoppfull om dess tillämpningar inom ekonomi, där det kan användas för att utveckla sund politik i situationer som involverar många interagerande enheter med beteenden och intressen som förändras över tid.