Datorseende-teknik förutsäger mänskligt beteende från videor

En ny datorseende-teknik som utvecklats av forskare vid Columbia Engineering kan förutsäga mänskligt beteende från videor. Den nya tekniken ger maskiner en intuitiv känsla som möjliggör förutsägelse av vad som kommer att hända härnäst genom att använda högre nivåer av associationer mellan människor, djur och föremål.

Carl Vondrick är biträdande professor i datavetenskap vid Columbia. Vondrick ledde studien, som presenterades den 24 juni på International Conference on Computer Vision and Pattern Recognition.

“Vår algoritm är ett steg mot att maskiner ska kunna göra bättre förutsägelser om mänskligt beteende och därmed bättre samordna sina handlingar med våra”, sa Vondrick. “Våra resultat öppnar upp en mängd möjligheter för mänsklig-robot-samarbete, autonoma fordon och assisterande teknik.”

Den nya metoden är den mest precisa av sin sort för förutsägelse av videohändelser flera minuter in i framtiden. Systemet analyserade först tusentals timmar av filmer, sportspel och shower innan det gick vidare till att förutsäga hundratals aktiviteter, såsom handskakningar och knytnävshöjningar.

Om systemet inte kan förutsäga en specifik handling, hittar det en högre nivå av koncept som länkar dem, såsom ordet “hälsning”.

Tidigare försök

Tidigare försök med prediktiv maskinlärning fokuserade vanligtvis på att förutsäga en handling i taget, med algoritmerna som bestämde att klassificera handlingen, till exempel som en kram, handskakning, high-five eller icke-handling. Men hög osäkerhet innebär att de flesta maskinlärningsmodeller inte kan hitta gemensamma nämnare mellan möjliga alternativ.

Teamet bestod av Columbias doktorander Didac Suris och Ruoshi Liu, och de såg på det längre förutsägelseproblemet på ett annat sätt.

Suris är medförfattare till artikeln.

“Inte allt i framtiden är förutsägbart”, sa Suris. “När en person inte kan förutse exakt vad som kommer att hända, spelar de säkert och förutsäger på en högre nivå av abstraktion. Vår algoritm är den första som lär sig denna förmåga att resonera abstrakt om framtida händelser.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Utveckling av det nya systemet

Suris och Liu förlitade sig på ovanliga geometrier för att utveckla AI-modeller som organiserar högnivåkoncept och förutsäger mänskligt beteende i framtiden.

Aude Oliva, som inte var involverad i studien, är senior forskare vid Massachusetts Institute of Technology och meddirektör för MIT-IBM Watson AI Lab.

“Förutsägelse är grunden för mänsklig intelligens”, sa Oliva. “Maskiner gör misstag som människor aldrig skulle göra eftersom de saknar vår förmåga att resonera abstrakt. Detta arbete är ett avgörande steg mot att överbrygga denna teknologiska klyfta.”

Forskarna utvecklade en matematisk ram som möjliggör för maskiner att organisera händelser efter hur förutsägbara de är i framtiden. Till exempel lär sig det nya systemet hur man kan kategorisera aktiviteter som simning och löpning som sina egna, snarare än bara övning. Systemet kan också ta hänsyn till osäkerhet, vilket leder till mer specifika handlingar.

Enligt Liu, medförfattare till artikeln, kan den nyligen utvecklade tekniken hjälpa datorer att fatta nyanserade beslut snarare än förprogrammerade handlingar, och det är avgörande för att bygga förtroende mellan människor och datorer.

“Förtroende kommer från känslan att roboten verkligen förstår människor”, förklarar han. “Om maskiner kan förstå och förutsäga våra beteenden, kommer datorer att kunna hjälpa människor i daglig verksamhet på ett smidigt sätt.”

Teamet kommer nu att undersöka om tekniken fungerar i den verkliga världen, och den kan användas för säkerhet, hälsa och trygghet.

“Mänskligt beteende är ofta överraskande”, säger Vondrick. “Våra algoritmer möjliggör för maskiner att bättre förutsäga vad de kommer att göra härnäst.”