Nuova tecnica aiuta l’AI a identificare oggetti 3D

Una nuova tecnica sviluppata da ricercatori della North Carolina State University migliora la capacità dei programmi di intelligenza artificiale (AI) di identificare oggetti 3D. Chiamata MonoCon, la tecnica aiuta anche l’AI a capire come gli oggetti 3D si relazionano tra loro nello spazio utilizzando immagini 2D.

MonoCon potrebbe avere un’ampia gamma di applicazioni, tra cui aiutare i veicoli autonomi a navigare intorno ad altri veicoli utilizzando immagini 2D ricevute da una telecamera a bordo. Potrebbe anche svolgere un ruolo nella produzione e nella robotica.

Tianfu Wu è l’autore corrispondente del documento di ricerca e un professore assistente di ingegneria elettrica e informatica alla North Carolina State University.

“Viviamo in un mondo 3D, ma quando si scatta una foto, si registra quel mondo in un’immagine 2D”, dice Wu.

“I programmi AI ricevono input visivi dalle telecamere. Quindi, se vogliamo che l’AI interagisca con il mondo, dobbiamo assicurarci che sia in grado di interpretare cosa le immagini 2D possono dirle sullo spazio 3D. In questa ricerca, ci concentriamo su una parte di questa sfida: come possiamo far sì che l’AI riconosca con precisione gli oggetti 3D – come persone o auto – in immagini 2D e li posizioni nello spazio”, continua Wu.

Veicoli autonomi

I veicoli autonomi spesso si affidano al lidar per navigare nello spazio 3D. Il lidar, che utilizza laser per misurare le distanze, è costoso, il che significa che i sistemi autonomi non includono molta ridondanza. Mettere decine di sensori lidar su un’auto senza guidatore prodotta in serie sarebbe incredibilmente costoso.

“Ma se un veicolo autonomo potesse utilizzare input visivi per navigare nello spazio, potremmo costruire una ridondanza”, dice Wu. “Poiché le telecamere sono significativamente meno costose del lidar, sarebbe economicamente fattibile includere telecamere aggiuntive – costruendo una ridondanza nel sistema e rendendolo più sicuro e robusto.

“Questa è un’applicazione pratica. Tuttavia, siamo anche entusiasti del fondamentale avanzamento di questo lavoro: che è possibile ottenere dati 3D da oggetti 2D.”

Addestramento dell’AI

MonoCon può identificare oggetti 3D in immagini 2D prima di posizionarli in una “scatola di delimitazione”, che indica all’AI i bordi esterni dell’oggetto.

“Ciò che distingue il nostro lavoro è come addestriamo l’AI, che si basa su tecniche di addestramento precedenti”, dice Wu. “Come i precedenti sforzi, posizioniamo gli oggetti in scatole di delimitazione 3D durante l’addestramento dell’AI. Tuttavia, in aggiunta a chiedere all’AI di prevedere la distanza tra la telecamera e l’oggetto e le dimensioni delle scatole di delimitazione, chiediamo anche all’AI di prevedere le posizioni di ciascuno dei punti della scatola e la sua distanza dal centro della scatola di delimitazione in due dimensioni. Chiamiamo questo ‘contesto ausiliario’ e abbiamo scoperto che aiuta l’AI a identificare e prevedere con maggiore precisione gli oggetti 3D in base a immagini 2D.

“Il metodo proposto è motivato da un noto teorema nella teoria della misura, il teorema di Cramér-Wold. È anche potenzialmente applicabile ad altre attività di previsione di output strutturato nella visione artificiale.”

MonoCon è stato testato con un set di dati di riferimento ampiamente utilizzato chiamato KITTI.

“Al momento in cui abbiamo presentato questo documento, MonoCon ha eseguito meglio di decine di altri programmi AI volti a estrarre dati 3D su automobili da immagini 2D”, dice Wu.

Il team ora cercherà di ampliare il processo con set di dati più grandi.

“Procederemo con l’ampliamento di questo processo e lavoreremo con set di dati più grandi per valutare e perfezionare MonoCon per l’uso nella guida autonoma”, dice Wu. “Vogliamo anche esplorare applicazioni nella produzione, per vedere se possiamo migliorare le prestazioni di attività come l’uso di bracci robotici.”