Tecnica di visione computerizzata che prevede il comportamento umano dai video

Una nuova tecnica di visione computerizzata sviluppata dai ricercatori della Columbia Engineering può prevedere il comportamento umano dai video. La nuova tecnica dà alle macchine un senso intuitivo che consente loro di prevedere cosa accadrà dopo utilizzando associazioni di livello superiore tra persone, animali e oggetti.

Carl Vondrick è professore assistente di scienze informatiche alla Columbia. Vondrick ha diretto lo studio, che è stato presentato il 24 giugno alla Conferenza internazionale sulla visione computerizzata e il riconoscimento di modelli.

“Il nostro algoritmo è un passo verso la capacità delle macchine di fare previsioni migliori sul comportamento umano e quindi di coordinare meglio le loro azioni con le nostre”, ha detto Vondrick. “I nostri risultati aprono una serie di possibilità per la collaborazione uomo-robot, i veicoli autonomi e la tecnologia assistiva.”

Il nuovo metodo è il più preciso del suo genere fino ad oggi per la previsione di eventi di azione video beberapa minuti nel futuro. Il sistema ha prima analizzato migliaia di ore di film, partite di sport e spettacoli prima di procedere a prevedere centinaia di attività, come stringersi la mano e fare il bump con il pugno.

Se il sistema non può prevedere un’azione specifica, trova un concetto di livello superiore che li collega, come la parola “saluto”.

Tentativi precedenti

I tentativi precedenti di apprendimento automatico predittivo si sono generalmente concentrati sulla previsione di un’azione alla volta, con gli algoritmi che decidono di classificare l’azione, ad esempio, come un abbraccio, una stretta di mano, un alto-five o un’azione non specificata. Tuttavia, l’alta incertezza significa che la maggior parte dei modelli di apprendimento automatico non è in grado di trovare comunanze tra le opzioni possibili.

Il team includeva gli studenti di dottorato della Columbia Engineering Didac Suris e Ruoshi Liu, e la coppia ha guardato il problema della previsione a lungo termine in modo leggermente diverso.

Suris è co-autore principale del documento.

“Non tutto nel futuro è prevedibile”, ha detto Suris. “Quando una persona non può prevedere esattamente cosa accadrà, gioca sul sicuro e prevede a un livello di astrazione più alto. Il nostro algoritmo è il primo a imparare questa capacità di ragionare in modo astratto sugli eventi futuri.”

https://www.youtube.com/watch?v=b1riFCPiqN4

Sviluppo del nuovo sistema

Suris e Liu si sono affidati a geometrie insolite per sviluppare modelli di intelligenza artificiale che organizzano concetti di livello superiore e prevedono il comportamento umano nel futuro.

Aude Oliva, che non era coinvolta nello studio, è scienziata senior di ricerca al Massachusetts Institute of Technology e co-direttrice del MIT-IBM Watson AI Lab.

“La previsione è la base dell’intelligenza umana”, ha detto Oliva. “Le macchine fanno errori che gli esseri umani non farebbero mai perché mancano della nostra capacità di ragionare in modo astratto. Questo lavoro è un passo fondamentale per colmare questo divario tecnologico.”

I ricercatori hanno sviluppato un quadro matematico che consente alle macchine di organizzare gli eventi in base a quanto sono prevedibili nel futuro. Ad esempio, il nuovo sistema impara a categorizzare attività come nuotare e correre come attività specifiche, anziché semplicemente esercitarsi. Il sistema è anche in grado di tenere conto dell’incertezza, il che porta a azioni più specifiche.

Secondo Liu, co-autore principale del documento, la tecnica appena sviluppata potrebbe aiutare i computer a prendere decisioni più sfumate anziché azioni pre-programmate, ed è fondamentale per costruire la fiducia tra esseri umani e computer.

“La fiducia deriva dal sentimento che il robot capisce veramente le persone”, spiega. “Se le macchine possono capire e prevedere i nostri comportamenti, i computer saranno in grado di assistere le persone in modo più fluido nelle attività quotidiane.”

Il team cercherà ora di verificare che la tecnica funzioni nel mondo reale e potrebbe essere impiegata per la sicurezza, la salute e la sicurezza.

“Il comportamento umano è spesso sorprendente”, dice Vondrick. “I nostri algoritmi consentono alle macchine di prevedere meglio cosa faranno le persone dopo.”