Computer Vision-techniek voorspelt menselijk gedrag vanuit video’s

Een nieuwe computer vision-techniek ontwikkeld door onderzoekers van Columbia Engineering kan menselijk gedrag voorspellen vanuit video’s. De nieuwe techniek geeft machines een intuïtief gevoel waardoor ze kunnen voorspellen wat er vervolgens zal gebeuren door het gebruik van hogere associaties tussen mensen, dieren en objecten.

Carl Vondrick is assistent-professor in de informatica aan Columbia. Vondrick leidde de studie, die op 24 juni werd gepresenteerd op de Internationale Conferentie over Computer Vision en Pattern Recognition.

“Onze algoritme is een stap in de richting van machines die beter in staat zijn om voorspellingen te doen over menselijk gedrag en zo hun acties beter kunnen coördineren met de onze,” zei Vondrick. “Onze resultaten openen een aantal mogelijkheden voor mens-robot-samenwerking, autonome voertuigen en hulpmiddelen.”

De nieuwe methode is de meest accurate van zijn soort tot nu toe voor de voorspelling van video-actiegebeurtenissen enkele minuten in de toekomst. Het systeem analyseerde eerst duizenden uren aan films, sportwedstrijden en shows voordat het overging tot het voorspellen van honderden activiteiten, zoals handenschudden en vuisten bumpen.

Als het systeem een specifieke actie niet kan voorspellen, vindt het een hoger niveau concept dat ze verbindt, zoals het woord “begroeting”.

Vorige pogingen

Vorige pogingen tot voorspellende machine learning richtten zich meestal op het voorspellen van één actie tegelijk, waarbij de algoritmes besloten om de actie te classificeren, bijvoorbeeld als een omhelzing, handdruk, high-five of geen actie. Echter, door de hoge onzekerheid kunnen de meeste machine learning-modellen geen gemeenschappelijkheden vinden tussen de mogelijke opties.

Het team bestond uit Columbia Engineering-promovendi Didac Suris en Ruoshi Liu, en het duo keek naar het langere voorspellingsprobleem op een iets andere manier.

Suris is co-hoofdauteur van het artikel.

“Niet alles in de toekomst is voorspelbaar,” zei Suris. “Wanneer een persoon niet precies kan voorspellen wat er zal gebeuren, speelt hij het veilig en voorspelt hij op een hoger niveau van abstractie. Ons algoritme is het eerste dat deze capaciteit leert om abstract te redeneren over toekomstige gebeurtenissen.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Ontwikkeling van het nieuwe systeem

Suris en Liu vertrouwden op ongebruikelijke geometrieën om AI-modellen te ontwikkelen die hogere concepten organiseren en menselijk gedrag in de toekomst voorspellen.

Aude Oliva, die niet bij de studie was betrokken, is senior onderzoeker aan het Massachusetts Institute of Technology en co-directeur van het MIT-IBM Watson AI Lab.

“Voorspelling is de basis van menselijke intelligentie,” zei Oliva. “Machines maken fouten die mensen nooit zouden maken omdat ze onze capaciteit om abstract te redeneren missen. Dit werk is een belangrijke stap naar het overbruggen van deze technologische kloof.”

De onderzoekers ontwikkelden een wiskundig kader dat machines in staat stelt om gebeurtenissen te organiseren op basis van hoe voorspelbaar ze zijn in de toekomst. Bijvoorbeeld, het nieuwe systeem leert hoe het activiteiten zoals zwemmen en rennen kan categoriseren als hun eigen, in plaats van alleen maar oefeningen. Het systeem kan ook rekening houden met onzekerheid, wat leidt tot specifiekere acties.

Volgens Liu, co-hoofdauteur van het artikel, kan de nieuw ontwikkelde techniek helpen om computers te laten nemen beslissingen op basis van nuances in plaats van vooraf geprogrammeerde acties, en dit is cruciaal voor het opbouwen van vertrouwen tussen mensen en computers.

“Vertrouwen komt voort uit het gevoel dat de robot echt mensen begrijpt,” legt hij uit. “Als machines menselijk gedrag kunnen begrijpen en voorspellen, kunnen computers mensen beter helpen in hun dagelijkse activiteiten.”

Het team zal nu proberen te verifiëren of de techniek werkt in de echte wereld en kan worden ingezet voor veiligheid, gezondheid en beveiliging.

“Menselijk gedrag is vaak verrassend,” zegt Vondrick. “Onze algoritmes stellen machines in staat om beter te anticiperen wat ze vervolgens zullen doen.”