I laboratori Intel avanzano lo sviluppo della visione computerizzata con due nuovi modelli di intelligenza artificiale

VI-Depth 1.0 e MiDaS 3.1, modelli di intelligenza artificiale open source, migliorano la stima della profondità per la visione computerizzata.

La stima della profondità è un compito difficile di visione computerizzata richiesto per creare una vasta gamma di applicazioni in robotica, realtà aumentata (AR) e realtà virtuale (VR). Le soluzioni esistenti spesso lottano per stimare correttamente le distanze, che è un aspetto cruciale per pianificare il movimento e evitare ostacoli quando si tratta di navigazione visiva. I ricercatori dei laboratori Intel (INTC ) stanno affrontando questo problema rilasciando due modelli di intelligenza artificiale per la stima della profondità monocular: uno per la stima della profondità visiva-inerziale e uno per la stima della profondità relativa robusta (RDE).

Il modello RDE più recente, MiDaS versione 3.1, prevede una profondità relativa robusta utilizzando solo un’immagine come input. Grazie al suo addestramento su un set di dati ampio e diversificato, può eseguire efficientemente una vasta gamma di compiti e ambienti. La versione più recente di MiDaS migliora la precisione del modello per la RDE di circa il 30% con il suo set di addestramento più ampio e i backbone del codificatore aggiornati.

MiDaS è stato incorporato in molti progetti, più notevolmente Stable Diffusion 2.0, dove abilita la funzione di profondità per immagine che inferisce la profondità di un’immagine di input e quindi genera nuove immagini utilizzando sia le informazioni di testo che di profondità. Ad esempio, il creatore digitale Scottie Fox ha utilizzato una combinazione di Stable Diffusion e MiDaS per creare un ambiente di realtà virtuale a 360 gradi. Questa tecnologia potrebbe portare a nuove applicazioni virtuali, tra cui la ricostruzione della scena del crimine per i processi, ambienti terapeutici per la sanità e esperienze di gioco immersive.

Sebbene la RDE abbia una buona generalizzabilità e sia utile, la mancanza di scala diminuisce la sua utilità per i compiti downstream che richiedono una profondità metrica, come la mappatura, la pianificazione, la navigazione, il riconoscimento degli oggetti, la ricostruzione 3D e la modifica delle immagini. I ricercatori dei laboratori Intel stanno affrontando questo problema rilasciando VI-Depth, un altro modello di intelligenza artificiale che fornisce una stima della profondità precisa.

VI-Depth è una pipeline di stima della profondità visiva-inerziale che integra la stima della profondità monocular e l’odometria visiva-inerziale (VIO) per produrre stime della profondità dense con scala metrica. Questo approccio fornisce una stima della profondità precisa, che può aiutare nella ricostruzione della scena, nella mappatura e nella manipolazione degli oggetti.

L’inclusione dei dati inerziali può aiutare a risolvere l’ambiguità di scala. La maggior parte dei dispositivi mobili contiene già unità di misura inerziale (IMU). L’allineamento globale determina la scala globale appropriata, mentre l’allineamento della scala densa (SML) opera localmente e spinge o tira le regioni verso la profondità metrica corretta. La rete SML sfrutta MiDaS come backbone del codificatore. Nella pipeline modulare, VI-Depth combina la stima della profondità basata sui dati con il modello di previsione della profondità relativa di MiDaS, insieme alla misura dell’unità del sensore IMU. La combinazione delle fonti di dati consente a VI-Depth di generare una profondità metrica densa più affidabile per ogni pixel in un’immagine.

MiDaS 3.1 e VI-Depth 1.0 sono disponibili con licenza open source MIT su GitHub.

Per ulteriori informazioni, si prega di fare riferimento a “Vision Transformers for Dense Prediction” e “Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer”.