Technika počítačového vidění předpovídá lidské chování z videí

Nová technika počítačového vidění vyvinutá výzkumníky z Columbia Engineering může předpovídat lidské chování z videí. Nová technika dává strojům intuitivní smysl, který umožňuje předpovídat, co se stane dál, pomocí vyšších asociací mezi lidmi, zvířaty a objekty.

Carl Vondrick je asistent profesora počítačových věd na Columbii. Vondrick řídil studii, která byla prezentována 24. června na Mezinárodní konferenci o počítačovém vidění a rozpoznávání vzorců. 

“Náš algoritmus je krok směrem k tomu, aby stroje mohli dělat lepší předpovědi o lidském chování, a tím lépe koordinovat své akce s našimi,” řekl Vondrick. “Naše výsledky otevírají řadu možností pro spolupráci mezi lidmi a roboty, autonomními vozidly a asistivní technologií.”

Nová metoda je nejpreciznější svého druhu pro předpověď akcí ve videu několik minut do budoucnosti. Systém nejprve analyzoval tisíce hodin filmů, sportovních her a pořadů, než začal předpovídat stovky aktivit, jako je potřesení rukou a úder pěstí. 

Pokud systém nemůže předpovědět konkrétní akci, najde vyšší úroveň konceptu, který je spojuje, jako je slovo „pozdrav“. 

Předchozí pokusy

Předchozí pokusy o prediktivní strojové učení se obvykle zaměřovaly na předpověď jedné akce najednou, přičemž algoritmy rozhodovaly, zda klasifikovat akci, například jako objetí, potřesení rukou, úder pěstí nebo nečinnost. Nicméně, vysoká nejistota znamená, že většina modelů strojového učení nemůže najít společné rysy mezi možnými možnostmi. 

Tým zahrnoval doktorandy z Columbia Engineering Didaca Surise a Ruoshiho Lioa, a dvojice se na problém delšího rozsahu předpovědi podívala trochu jinak. 

Suris je spoluautor článku.

“Ne všechno v budoucnosti je předpověditelné,” řekl Suris. “Když člověk nemůže přesně předpovědět, co se stane, hraje to bezpečně a předpovídá na vyšší úrovni abstrakce. Náš algoritmus je první, který se naučil tuto schopnost abstraktně uvažovat o budoucích událostech.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Vývoj nového systému

Suris a Liu se spoléhali na neobvyklé geometrie, aby vyvinuli modely umělé inteligence, které organizují vyšší koncepty a předpovídají lidské chování v budoucnosti. 

Aude Oliva, který nebyl zapojen do studie, je senior výzkumný vědec na Massachusettském technologickém institutu a spoludirector laboratoře MIT-IBM Watson AI. 

“Předpověď je základem lidské inteligence,” řekl Oliva. “Stroje dělají chyby, které lidé nikdy neudělají, protože jim chybí naše schopnost abstraktně uvažovat. Tato práce je zásadním krokem směrem k překlenutí této technologické mezery.”

Výzkumníci vyvinuli matematický rámec, který umožňuje strojům organizovat události podle toho, jak jsou předpověditelné v budoucnosti. Například nový systém se naučil, jak kategorizovat aktivity, jako je plavání a běh, jako samostatné, spíše než jen cvičení. Systém je také schopen zohlednit nejistotu, což vede k více specifickým akcím.

Podle Lioa, spoluautora článku, nově vyvinutá technika by mohla pomoci počítačům dělat nuancované rozhodnutí spíše než předem naprogramované akce, a je zásadní pro budování důvěry mezi lidmi a počítači. 

“Důvěra pochází z pocitu, že robot opravdu rozumí lidem,” vysvětluje. “Pokud stroje mohou rozumět a předpovídat naše chování, počítače budou moci bezproblémově asistovat lidem v denní činnosti.”

Tým se nyní bude snažit ověřit, zda technika funguje ve skutečném světě, a mohla by být nasazena pro bezpečnost, zdraví a bezpečnost.  

“Lidské chování je často překvapivé,” říká Vondrick. “Naše algoritmy umožňují strojům lépe předpovídat, co budou dělat dál.”