Computervisionsteknik kan forudsige menneskers adfærd fra videoer

En ny computervisionsteknik udviklet af forskere fra Columbia Engineering kan forudsige menneskers adfærd fra videoer. Den nye teknik giver maskiner en intuitiv fornemmelse, der ermögiller dem at forudsige, hvad der vil ske herefter, ved at bruge højere niveau associationer mellem mennesker, dyr og objekter.

Carl Vondrick er adjunkt i datalogi på Columbia. Vondrick ledede studiet, som blev præsenteret den 24. juni på International Conference on Computer Vision and Pattern Recognition.

“Vores algoritme er et skridt mod, at maskiner kan gøre bedre forudsigelser om menneskers adfærd, og dermed bedre koordinere deres handlinger med vores,” sagde Vondrick. “Vores resultater åbner en række muligheder for samarbejde mellem mennesker og robotter, autonome køretøjer og assistive teknologier.”

Den nye metode er den mest nøjagtige af sin art til dato for forudsigelse af videohandlinger flere minutter frem i tiden. Systemet analyserede først tusinder af timer af film, sportskampe og shows, før det gik videre til at forudsige hundredvis af aktiviteter, såsom håndtryk og knytnæve.

Hvis systemet ikke kan forudsige en bestemt handling, finder det en højere niveau koncept, der forbinder dem, såsom ordet “hilsen”.

Tidligere forsøg

Tidligere forsøg på forudsigende maskinlæring fokuserede normalt på at forudsige en handling ad gangen, hvor algoritmernes beslutning var at klassificere handlingen, f.eks. som et knus, håndtryk, high-five eller ikke-handling. Men høj usikkerhed betyder, at de fleste maskinlæringsmodeller ikke kan finde fælles træk mellem mulige muligheder.

Holdet inkluderede Columbia Engineering-ph.d.-studerende Didac Suris og Ruoshi Liu, og parret så på længerevarende forudsigelsesproblemet på en anden måde.

Suris er medforfatter af artiklen.

“Ikke alt i fremtiden er forudsigeligt,” sagde Suris. “Når en person ikke kan forudsige præcis, hvad der vil ske, spiller de det sikre og forudsiger på et højere niveau af abstraktion. Vores algoritme er den første, der lærer denne evne til at resonere abstrakt om fremtidige begivenheder.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Udvikling af det nye system

Suris og Liu afhængigt af usædvanlige geometrier for at udvikle AI-modeller, der organiserer højere niveau koncepter og forudsiger menneskers adfærd i fremtiden.

Aude Oliva, der ikke var involveret i studiet, er seniorforsker på Massachusetts Institute of Technology og meddirektør for MIT-IBM Watson AI Lab.

“Forudsigelse er grundlaget for menneskelig intelligens,” sagde Oliva. “Maskiner begår fejl, som mennesker aldrig ville, fordi de mangler vores evne til at resonere abstrakt. Dette arbejde er et afgørende skridt mod at lukke denne teknologiske kløft.”

Forskerne udviklede en matematisk ramme, der ermögiller maskiner at organisere begivenheder efter, hvor forudsigelige de er i fremtiden. F.eks. lærer det nye system, hvordan man kan kategorisere aktiviteter som svømning og løb som deres eget, i stedet for blot at øve. Systemet kan også tage højde for usikkerhed, hvilket fører til mere specifikke handlinger.

Ifølge Liu, medforfatter af artiklen, kunne den nyudviklede teknik hjælpe computere med at træffe nuancerede beslutninger i stedet for forprogrammerede handlinger, og det er afgørende for at opbygge tillid mellem mennesker og computere.

“Tillid kommer fra følelsen af, at robotter virkelig forstår mennesker,” forklarer han. “Hvis maskiner kan forstå og forudsige vores adfærd, vil computere være i stand til at hjælpe mennesker i daglig aktivitet uden problemer.”

Holdet vil nu se at verificere, om teknikken virker i den virkelige verden, og den kunne blive anvendt til sikkerhed, sundhed og sikkerhed.

“Menneskers adfærd er ofte overraskende,” siger Vondrick. “Vores algoritmer ermögiller maskiner at bedre forudsige, hvad de vil gøre herefter.”