Tehnica de viziune computerizată care prezice comportamentul uman din videoclipuri

O nouă tehnică de viziune computerizată, dezvoltată de cercetătorii de la Columbia Engineering, poate prezice comportamentul uman din videoclipuri. Noua tehnică oferă mașinilor o intuiție care le permite să prevadă ce se va întâmpla în continuare, utilizând asocieri de nivel superior între oameni, animale și obiecte.

Carl Vondrick este asistent profesor de știință computerizată la Columbia. Vondrick a condus studiu, care a fost prezentat pe 24 iunie la Conferința Internațională de Viziune Computerizată și Recunoaștere a Modelelor.

“Algoritmul nostru este un pas spre capacitarea mașinilor de a face previziuni mai bune despre comportamentul uman și, astfel, de a-și coordona acțiunile cu ale noastre”, a spus Vondrick. “Rezultatele noastre deschid o serie de posibilități pentru colaborarea om-robot, vehicule autonome și tehnologie asistivă.”

Noua metodă este cea mai precisă de acest fel până în prezent pentru previziunea evenimentelor de acțiune din videoclipuri, cu câteva minute înainte. Sistemul a analizat inițial mii de ore de filme, jocuri sportive și emisiuni, înainte de a trece la previziunea a sute de activități, cum ar fi strângerea mâinilor și loviturile cu pumnul.

Dacă sistemul nu poate prezice o acțiune specifică, găsește un concept de nivel superior care le leagă, cum ar fi cuvântul “salut”.

Încercări anterioare

Încercările anterioare de învățare predictivă a mașinilor s-au concentrat de obicei pe previziunea unei acțiuni la un moment dat, algoritmii decidând să clasifice acțiunea, de exemplu, ca îmbrățișare, strângere de mână, lovitură cu pumnul sau non-acțiune. Cu toate acestea, incertitudinea ridicată înseamnă că majoritatea modelelor de învățare a mașinilor nu pot găsi comunalități între opțiunile posibile.

Echipa a inclus studenții doctoranzi de la Columbia Engineering, Didac Suris și Ruoshi Liu, și cei doi au abordat problema previziunii pe termen lung într-un mod puțin diferit.

Suris este co-autor principal al lucrării.

“Nu totul din viitor este previzibil”, a spus Suris. “Când o persoană nu poate prevedea exact ce se va întâmpla, joacă pe sigur și prezice la un nivel de abstracție mai ridicat. Algoritmul nostru este primul care a învățat această capacitate de a raționa abstract despre evenimentele viitoare.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Dezvoltarea noului sistem

Suris și Liu s-au bazat pe geometrii neobișnuite pentru a dezvolta modele de inteligență artificială care organizează concepte de nivel superior și prevăd comportamentul uman în viitor.

Aude Oliva, care nu a fost implicat în studiu, este cercetător științific senior la Massachusetts Institute of Technology și co-director al laboratorului MIT-IBM Watson AI.

“Previziunea este baza inteligenței umane”, a spus Oliva. “Mașinile fac greșeli pe care oamenii nu le-ar face niciodată, deoarece le lipsește capacitatea noastră de a raționa abstract. Această lucrare este un pas crucial spre reducerea acestei lacune tehnologice.”

Cercetătorii au dezvoltat un cadru matematic care permite mașinilor să organizeze evenimentele în funcție de cât de previzibile sunt în viitor. De exemplu, noul sistem învață cum să clasifice activități precum înotul și alergarea ca fiind proprii, și nu doar exerciții. Sistemul poate, de asemenea, să țină cont de incertitudine, ceea ce duce la acțiuni mai specifice.

Conform lui Liu, co-autor principal al lucrării, tehnica nou dezvoltată ar putea ajuta calculatoarele să ia decizii nuanțate, în loc de acțiuni pre-programate, și este esențială pentru construirea încrederii între oameni și calculatoare.

“Încrederea vine din sentimentul că robotul înțelege cu adevărat oamenii”, explică el. “Dacă mașinile pot înțelege și anticipa comportamentul nostru, calculatoarele vor putea să ne asiste în mod fluent în activitățile zilnice.”

Echipa va verifica acum dacă tehnica funcționează în lumea reală și ar putea fi utilizată pentru siguranță, sănătate și securitate.

“Comportamentul uman este adesea surprinzător”, spune Vondrick. “Algoritmii noștri permit mașinilor să prevadă mai bine ce urmează să facă.”