Datamaskinvisjonsteknikk forutsier menneskelig atferd fra videoer

En ny datamaskinvisjonsteknikk utviklet av forskere ved Columbia Engineering kan forutsie menneskelig atferd fra videoer. Den nye teknikken gir maskiner en intuitiv forståelse som gjør det mulig for dem å forutsie hva som vil skje neste ved å bruke høyere nivåer av assosiasjoner mellom mennesker, dyr og objekter.

Carl Vondrick er assistentprofessor i datavitenskap ved Columbia. Vondrick ledet studien, som ble presentert 24. juni på den internasjonale konferansen om datamaskinvisjon og mønstergjenkjenning.

“Vår algoritme er et skritt mot at maskiner kan gjøre bedre forutsigelser om menneskelig atferd, og dermed bedre koordinere sine handlinger med våre,” sa Vondrick. “Våre resultater åpner opp en rekke muligheter for menneske-robot-samarbeid, autonome kjøretøy og assistive teknologier.”

Den nye metoden er den mest nøyaktige av sin type til dags dato for forutsigelse av videohandlinger flere minutter frem i tid. Systemet analyserte først tusenvis av timer med filmer, sportskamper og show før det gikk videre til å forutsie hundredvis av aktiviteter, som håndhilser og knusende bump.

Hvis systemet ikke kan forutsie en bestemt handling, finner det et høyere nivå av konsept som kobler dem, som ordet “hilsen”.

Tidligere forsøk

Tidligere forsøk på prediktiv maskinlæring har vanligvis fokusert på å forutsie en handling om gangen, med algoritmene som bestemmer å klassifisere handlingen, for eksempel som en omfavnelse, håndhilser, high-five eller ingen handling. Men høy usikkerhet betyr at de fleste maskinlæringsmodellene ikke kan finne fellesskap mellom mulige alternativer.

Teamet inkluderte Columbia Engineering-forskerne Didac Suris og Ruoshi Liu, og de to så på lengre-rekke prediksjonsproblemet på en litt annerledes måte.

Suris er med-forfatter av artikkelen.

“Ikke alt i fremtiden er forutsigbart,” sa Suris. “Når en person ikke kan forutsie nøyaktig hva som vil skje, spiller de det trygge og forutsier på et høyere nivå av abstraksjon. Vår algoritme er den første som lærer denne evnen til å resonnere abstrakt om fremtidige hendelser.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Utvikling av det nye systemet

Suris og Liu brukte uvanlige geometrier for å utvikle AI-modeller som organiserer høyere nivåer av konsepter og forutsier menneskelig atferd i fremtiden.

Aude Oliva, som ikke var involvert i studien, er seniorforsker ved Massachusetts Institute of Technology og med-direktør for MIT-IBM Watson AI Lab.

“Forutsigelse er grunnlaget for menneskelig intelligens,” sa Oliva. “Maskiner gjør feil som mennesker aldri ville gjøre fordi de mangler vår evne til å resonnere abstrakt. Dette arbeidet er et avgjørende skritt mot å lukke denne teknologiske gapet.”

Forskerne utviklet en matematisk ramme som gjør det mulig for maskiner å organisere hendelser etter hvor forutsigbare de er i fremtiden. For eksempel lærer det nye systemet hvordan man kan kategorisere aktiviteter som svømming og løping som deres eget, i stedet for bare å øve. Systemet kan også ta hensyn til usikkerhet, som fører til mer spesifikke handlinger.

Ifølge Liu, med-forfatter av artikkelen, kunne den nyutviklede teknikken hjelpe datamaskiner til å gjøre nyanserte beslutninger i stedet for forhåndsprogrammerte handlinger, og det er avgjørende for å bygge tillit mellom mennesker og datamaskiner.

“Tillit kommer fra følelsen av at roboten virkelig forstår mennesker,” forklarer han. “Hvis maskiner kan forstå og forutsie vår atferd, vil datamaskinene være i stand til å hjelpe mennesker i daglige aktiviteter uten å forstyrre.”

Teamet vil nå se på å verifisere at teknikken fungerer i den virkelige verden, og den kan bli deployert for sikkerhet, helse og sikkerhet.

“Menneskelig atferd er ofte overraskende,” sier Vondrick. “Våre algoritmer gjør det mulig for maskiner å bedre forutsie hva de vil gjøre neste.”