Presentazione di SAM 2: il nuovo modello open-source di Meta per la segmentazione degli oggetti in tempo reale in video e immagini

Negli ultimi anni, il mondo dell’IA ha visto notevoli progressi nei fondamenti dell’IA per l’elaborazione del testo, con avanzamenti che hanno trasformato settori come il servizio clienti e l’analisi legale. Tuttavia, quando si tratta dell’elaborazione delle immagini, stiamo solo sfiorando la superficie. La complessità dei dati visivi e le sfide di formazione dei modelli per interpretare e analizzare con precisione le immagini hanno presentato ostacoli significativi. Mentre i ricercatori continuano a esplorare i fondamenti dell’IA per le immagini e i video, il futuro dell’elaborazione delle immagini nell’IA tiene potenziali innovazioni nel settore sanitario, nei veicoli autonomi e oltre.

La segmentazione degli oggetti, che consiste nell’individuare i pixel esatti in un’immagine che corrispondono a un oggetto di interesse, è una task critica nella visione artificiale. Tradizionalmente, ciò ha richiesto la creazione di modelli AI specializzati, che richiedono una vasta infrastruttura e grandi quantità di dati annotati. Lo scorso anno, Meta ha introdotto il Segment Anything Model (SAM), un modello di IA di base che semplifica questo processo consentendo agli utenti di segmentare le immagini con un semplice prompt. Questa innovazione ha ridotto la necessità di competenze specialistiche e di risorse computazionali estese, rendendo la segmentazione delle immagini più accessibile.

Ora, Meta sta portando questo concetto un passo più in là con SAM 2. Questa nuova iterazione non solo migliora le capacità di segmentazione delle immagini esistenti di SAM, ma estende anche tale funzionalità all’elaborazione dei video. SAM 2 può segmentare qualsiasi oggetto in immagini e video, anche quelli che non ha incontrato prima. Questo avanzamento rappresenta un balzo in avanti nel campo della visione artificiale e dell’elaborazione delle immagini, fornendo uno strumento più versatile e potente per l’analisi dei contenuti visivi. Di seguito, esploriamo le emozionanti innovazioni di SAM 2 e il suo potenziale per ridefinire il campo della visione artificiale.

Presentazione del Segment Anything Model (SAM)

I metodi di segmentazione tradizionali richiedono una rifinitura manuale, nota come segmentazione interattiva, o grandi quantità di dati annotati per la segmentazione automatica in categorie predefinite. SAM è un modello di IA di base che supporta la segmentazione interattiva utilizzando prompt versatili come clic, box o input di testo. Può anche essere personalizzato con dati e risorse computazionali minimi per la segmentazione automatica. Addestrato su oltre 1 miliardo di annotazioni di immagini diverse, SAM può gestire nuovi oggetti e immagini senza necessità di raccolta di dati personalizzati o personalizzazione.

SAM funziona con due componenti principali: un encoder di immagini che elabora l’immagine e un encoder di prompt che gestisce input come clic o testo. Questi componenti si combinano con un decoder leggero per prevedere le maschere di segmentazione. Una volta elaborata l’immagine, SAM può creare un segmento in soli 50 millisecondi in un browser web, rendendolo uno strumento potente per attività interattive in tempo reale. Per costruire SAM, i ricercatori hanno sviluppato un processo di raccolta dei dati in tre fasi: annotazione assistita dal modello, una combinazione di annotazione automatica e assistita, e creazione di maschere completamente automatica. Questo processo ha portato al dataset SA-1B, che include oltre 1,1 miliardi di maschere su 11 milioni di immagini con licenza, preservando la privacy—rendendolo 400 volte più grande di qualsiasi dataset esistente. Le prestazioni impressionanti di SAM derivano da questo dataset esteso e diversificato, garantendo una migliore rappresentazione in varie regioni geografiche rispetto ai dataset precedenti.

Presentazione di SAM 2: un balzo dalla segmentazione delle immagini alla segmentazione dei video

Basandosi sulle fondamenta di SAM, SAM 2 è progettato per la segmentazione degli oggetti in tempo reale e con prompt in immagini e video. A differenza di SAM, che si concentra esclusivamente su immagini statiche, SAM 2 elabora i video trattando ogni frame come parte di una sequenza continua. Ciò consente a SAM 2 di gestire scene dinamiche e contenuti in movimento più efficacemente. Per la segmentazione delle immagini, SAM 2 non solo migliora le capacità di SAM, ma opera anche tre volte più velocemente nelle attività interattive.

SAM 2 mantiene la stessa architettura di SAM, ma introduce un meccanismo di memoria per l’elaborazione dei video. Questa funzione consente a SAM 2 di tenere traccia delle informazioni dei frame precedenti, garantendo una segmentazione degli oggetti coerente nonostante i cambiamenti di movimento, illuminazione o occlusione. Facendo riferimento ai frame precedenti, SAM 2 può raffinare le sue previsioni di maschera nel video.

Il modello è stato addestrato su un nuovo dataset, il dataset SA-V, che include oltre 600.000 annotazioni di maschere su 51.000 video provenienti da 47 paesi. Questo dataset diversificato copre sia oggetti interi che parti di essi, migliorando l’accuratezza di SAM 2 nella segmentazione dei video nel mondo reale.

SAM 2 è disponibile come modello open-source sotto licenza Apache 2.0, rendendolo accessibile per vari utilizzi. Meta ha condiviso anche il dataset utilizzato per SAM 2 sotto licenza CC BY 4.0. Inoltre, è disponibile una demo web che consente agli utenti di esplorare il modello e vedere come si esegue.

Casi d’uso potenziali

Le capacità di SAM 2 nella segmentazione degli oggetti in tempo reale e con prompt per immagini e video hanno sbloccato numerose applicazioni innovative in vari campi. Ad esempio, alcune di queste applicazioni sono le seguenti:

• Diagnostica sanitaria: SAM 2 può migliorare significativamente l’assistenza chirurgica in tempo reale segmentando strutture anatomiche e identificando anomalie durante i feed video live in sala operatoria. Può anche migliorare l’analisi delle immagini mediche fornendo una segmentazione precisa di organi o tumori nelle scansioni mediche.
• Veicoli autonomi: SAM 2 può migliorare i sistemi di veicoli autonomi aumentando l’accuratezza della rilevazione degli oggetti attraverso la segmentazione e il tracciamento continuo di pedoni, veicoli e segnali stradali attraverso i frame video. La sua capacità di gestire scene dinamiche supporta anche i sistemi di navigazione adattiva e prevenzione delle collisioni, riconoscendo e rispondendo ai cambiamenti ambientali in tempo reale.
• Media interattivi e intrattenimento: SAM 2 può migliorare le applicazioni di realtà aumentata (AR) segmentando con precisione gli oggetti in tempo reale, rendendo più facile per gli elementi virtuali fondersi con il mondo reale. Beneficia anche il montaggio video automatizzando la segmentazione degli oggetti nelle riprese, semplificando processi come la rimozione dello sfondo e la sostituzione degli oggetti.
• Monitoraggio ambientale: SAM 2 può assistere nel tracciamento della fauna selvatica segmentando e monitorando gli animali nei video, supportando la ricerca sulle specie e gli studi sugli habitat. Nella risposta ai disastri, può valutare i danni e guidare gli sforzi di risposta segmentando aree e oggetti colpiti nei feed video.
• Commercio al dettaglio e e-commerce: SAM 2 può migliorare la visualizzazione dei prodotti nel commercio elettronico abilitando la segmentazione interattiva dei prodotti in immagini e video. Ciò può dare ai clienti la capacità di visualizzare gli articoli da vari angoli e contesti. Per la gestione delle scorte, aiuta i dettaglianti a tracciare e segmentare i prodotti sugli scaffali in tempo reale, semplificando l’inventario e migliorando il controllo delle scorte.

Superare le limitazioni di SAM 2: soluzioni pratiche e miglioramenti futuri

Sebbene SAM 2 si esegua bene con le immagini e i video brevi, presenta alcune limitazioni da considerare per l’uso pratico. Potrebbe avere difficoltà a tracciare oggetti attraverso cambiamenti significativi della prospettiva, occlusione prolungata o in scene affollate, in particolare in video estesi. La correzione manuale con clic interattivi può aiutare a risolvere questi problemi.

In ambienti affollati con oggetti simili, SAM 2 potrebbe occasionalmente identificare erroneamente gli obiettivi, ma prompt aggiuntivi in frame successivi possono risolvere questo problema. Sebbene SAM 2 possa segmentare più oggetti, la sua efficienza diminuisce poiché elabora ogni oggetto separatamente. Aggiornamenti futuri potrebbero trarre beneficio dall’integrazione di informazioni contestuali condivise per migliorare le prestazioni.

SAM 2 può anche perdere dettagli fini con oggetti in movimento rapido, e le previsioni possono essere instabili tra i frame. Tuttavia, un addestramento ulteriore potrebbe affrontare questa limitazione. Sebbene la generazione automatica delle annotazioni sia migliorata, gli annotatori umani sono ancora necessari per i controlli di qualità e la selezione dei frame, e un’ulteriore automazione potrebbe migliorare l’efficienza.

Il punto fondamentale

SAM 2 rappresenta un balzo significativo in avanti nella segmentazione degli oggetti in tempo reale per immagini e video, costruendo sulle fondamenta poste dal suo predecessore. Migliorando le capacità e estendendo la funzionalità ai contenuti video dinamici, SAM 2 promette di trasformare una varietà di campi, dal settore sanitario ai veicoli autonomi, ai media interattivi e al commercio al dettaglio. Sebbene rimangano sfide, in particolare nella gestione di scene complesse e affollate, la natura open-source di SAM 2 incoraggia il miglioramento continuo e l’adattamento. Con le sue potenti prestazioni e accessibilità, SAM 2 è pronto a guidare l’innovazione e ampliare le possibilità nella visione artificiale e oltre.