SEER: una svolta nel campo dei modelli di visione computerizzata autonoma?

Nell’ultimo decennio, l’Intelligenza Artificiale (AI) e l’Apprendimento Automatico (ML) hanno fatto enormi progressi. Oggi, sono più precisi, efficienti e capaci che mai. I modelli di AI e ML moderni possono riconoscere oggetti in immagini o file video con facilità e precisione. Inoltre, possono generare testi e discorsi che si avvicinano all’intelligenza umana.

I modelli di AI e ML di oggi si basano fortemente sull’addestramento su dataset etichettati che insegnano loro come interpretare un blocco di testo, identificare oggetti in un’immagine o frame video e molti altri compiti. 

Nonostante le loro capacità, i modelli di AI e ML non sono perfetti e gli scienziati stanno lavorando per costruire modelli in grado di apprendere dalle informazioni che ricevono, senza dover necessariamente fare affidamento su dati etichettati o annotati. Questo approccio è noto come apprendimento autonoma, ed è uno dei metodi più efficienti per costruire modelli di ML e AI che hanno il “senso comune” o la conoscenza di base per risolvere problemi che sono al di là delle capacità dei modelli di AI attuali. 

L’apprendimento autonoma ha già mostrato i suoi risultati nell’elaborazione del linguaggio naturale, poiché ha permesso ai developer di addestrare grandi modelli che possono lavorare con enormi quantità di dati e ha portato a diverse innovazioni nei campi dell’inferenza del linguaggio naturale, della traduzione automatica e della risposta alle domande. 

Il modello SEER di Facebook (META ) AI mira a massimizzare le capacità dell’apprendimento autonoma nel campo della visione computerizzata. SEER o SElf supERvised è un modello di visione computerizzata autonoma che ha oltre un miliardo di parametri e può trovare pattern o apprendere anche da un gruppo casuale di immagini trovate su Internet senza etichette o annotazioni adeguate. 

La necessità dell’apprendimento autonoma nella visione computerizzata

L’annotazione dei dati o l’etichettatura dei dati è una fase di pre-elaborazione nello sviluppo dei modelli di apprendimento automatico e intelligenza artificiale. Il processo di annotazione dei dati identifica i dati grezzi come immagini o frame video e aggiunge etichette ai dati per specificare il contesto dei dati per il modello. Queste etichette consentono al modello di effettuare previsioni accurate sui dati. 

Una delle più grandi sfide che gli sviluppatori affrontano quando lavorano sui modelli di visione computerizzata è trovare dati annotati di alta qualità. I modelli di visione computerizzata attuali si basano su questi dataset etichettati per imparare i pattern che consentono loro di riconoscere oggetti nelle immagini. 

L’annotazione dei dati e il suo utilizzo nel modello di visione computerizzata presentano le seguenti sfide:

Gestione della qualità del dataset

Probabilmente la più grande sfida che gli sviluppatori devono affrontare è ottenere accesso a dataset di alta qualità in modo costante, poiché i dataset di alta qualità con etichette adeguate e immagini chiare risultano in modelli più precisi e efficienti. Tuttavia, ottenere accesso a dataset di alta qualità in modo costante presenta le sue sfide. 

Gestione della forza lavoro

L’etichettatura dei dati spesso comporta problemi di gestione della forza lavoro, principalmente perché sono necessari molti lavoratori per elaborare e etichettare grandi quantità di dati non strutturati e non etichettati, garantendo al contempo la qualità. Quindi, è essenziale per gli sviluppatori trovare un equilibrio tra qualità e quantità quando si tratta di etichettatura dei dati. 

Vincoli finanziari

Probabilmente la più grande sfida è rappresentata dai vincoli finanziari che accompagnano il processo di etichettatura dei dati, e la maggior parte delle volte, il costo di etichettatura dei dati è una percentuale significativa del costo totale del progetto. 

Come si può vedere, l’annotazione dei dati è un grande ostacolo nello sviluppo di modelli di visione computerizzata avanzati, specialmente quando si tratta di sviluppare modelli complessi che trattano grandi quantità di dati di addestramento. È il motivo per cui l’industria della visione computerizzata ha bisogno dell’apprendimento autonoma per sviluppare modelli di visione computerizzata complessi e avanzati in grado di affrontare compiti che sono al di là delle capacità dei modelli attuali. 

Con ciò detto, ci sono già molti modelli di apprendimento autonoma che hanno funzionato bene in un ambiente controllato, e principalmente sul dataset ImageNet. Sebbene questi modelli possano funzionare bene, non soddisfano la condizione principale dell’apprendimento autonoma nella visione computerizzata: imparare da qualsiasi dataset non limitato o immagine casuale, e non solo da un dataset ben definito. Quando implementato idealmente, l’apprendimento autonoma può aiutare a sviluppare modelli di visione computerizzata più precisi e più efficienti, che sono anche economici e fattibili. 

SEER o SElf-supERvised Model: un’introduzione

Le tendenze recenti nell’industria AI e ML hanno indicato che gli approcci di pre-addestramento del modello come semi-supervisionato, debolmente supervisionato e apprendimento autonoma possono migliorare significativamente le prestazioni per la maggior parte dei modelli di apprendimento profondo per compiti downstream. 

Ci sono due fattori chiave che hanno contribuito notevolmente al miglioramento delle prestazioni di questi modelli di apprendimento profondo.

Pre-addestramento su dataset massicci

Il pre-addestramento su dataset massicci di solito risulta in una maggiore precisione e prestazioni perché espone il modello a una grande varietà di dati. Un dataset grande consente ai modelli di comprendere meglio i pattern nei dati e, in ultima analisi, porta a migliori prestazioni in scenari reali. 

Alcuni dei modelli più performanti, come il modello GPT-3 e il modello Wav2vec 2.0, sono addestrati su dataset massicci. Il modello linguistico GPT-3 utilizza un dataset di pre-addestramento con oltre 300 miliardi di parole, mentre il modello Wav2vec 2.0 per il riconoscimento del parlato utilizza un dataset con oltre 53.000 ore di dati audio. 

Modelli con capacità massive

I modelli con un numero maggiore di parametri spesso producono risultati più precisi perché un numero maggiore di parametri consente al modello di concentrarsi solo sugli oggetti nei dati che sono necessari, anziché concentrarsi sul rumore o sull’interferenza nei dati. 

Gli sviluppatori in passato hanno tentato di addestrare modelli di apprendimento autonoma su dati non etichettati o non curati, ma con dataset più piccoli che contenevano solo pochi milioni di immagini. Ma i modelli di apprendimento autonoma possono produrre risultati precisi quando vengono addestrati su grandi quantità di dati non etichettati e non curati? È proprio la domanda a cui il modello SEER mira a rispondere. 

Il modello SEER è un framework di apprendimento profondo che mira a registrare immagini disponibili su Internet indipendentemente da dataset curati o etichettati. Il framework SEER consente agli sviluppatori di addestrare grandi e complessi modelli di ML su dati casuali senza supervisione, ovvero il modello analizza i dati e apprende i pattern o le informazioni da solo senza alcun input manuale aggiuntivo. 

L’obiettivo finale del modello SEER è aiutare a sviluppare strategie per il pre-addestramento che utilizzino dati non curati per fornire prestazioni di alto livello nell’apprendimento di trasferimento. Inoltre, il modello SEER mira anche a creare sistemi che possano apprendere continuamente da un flusso costante di dati in modo autonoma. 

Il framework SEER addestra modelli ad alta capacità su miliardi di immagini casuali e non vincolate estratte da Internet. I modelli addestrati su queste immagini non si basano sui metadati delle immagini o sulle annotazioni per addestrare il modello o filtrare i dati. Recentemente, l’apprendimento autonoma ha mostrato un grande potenziale in quanto l’addestramento di modelli su dati non curati ha prodotto risultati migliori rispetto ai modelli pre-addestrati con supervisione per compiti downstream. 

SEER Framework e RegNet: quale è la connessione?

Per analizzare il modello SEER, si concentra sull’architettura RegNet con oltre 700 milioni di parametri che si allineano con l’obiettivo di SEER di apprendimento autonoma su dati non curati per due motivi principali:

1. Offrono un equilibrio perfetto tra prestazioni ed efficienza. 
2. Sono altamente flessibili e possono essere utilizzati per scalare il numero di parametri. 

SEER Framework: lavori precedenti da diverse aree

Il framework SEER mira a esplorare i limiti dell’addestramento di grandi architetture di modelli in dataset non curati o non etichettati utilizzando l’apprendimento autonoma, e il modello cerca ispirazione da lavori precedenti nel campo. 

Pre-addestramento non supervisionato di caratteristiche visive

L’apprendimento autonoma è stato implementato nella visione computerizzata per un po’ di tempo con metodi che utilizzano autoencoder, discriminazione a livello di istanza o clustering. Recentemente, metodi che utilizzano l’apprendimento contrastivo hanno indicato che il pre-addestramento di modelli utilizzando l’apprendimento non supervisionato per compiti downstream può funzionare meglio di un approccio di apprendimento supervisionato. 

Il principale takeaway dell’apprendimento non supervisionato di caratteristiche visive è che finché si addestra su dati filtrati, le etichette supervisionate non sono necessarie. Il modello SEER mira a esplorare se il modello possa apprendere rappresentazioni accurate anche quando grandi architetture di modelli vengono addestrate su grandi quantità di immagini non curate, non etichettate e casuali. 

Apprendimento di caratteristiche visive su larga scala

I modelli precedenti hanno tratto beneficio dal pre-addestramento dei modelli su grandi dataset etichettati con apprendimento debolmente supervisionato, apprendimento supervisionato e semi-supervisionato su milioni di immagini filtrate. Inoltre, l’analisi del modello ha anche indicato che il pre-addestramento del modello su miliardi di immagini spesso produce risultati più precisi rispetto all’addestramento del modello da zero. 

Inoltre, l’addestramento del modello su larga scala di solito si basa su passaggi di filtraggio dei dati per far sì che le immagini si allineino con i concetti di destinazione. Questi passaggi di filtraggio utilizzano le previsioni di un classificatore pre-addestrato o utilizzano hashtag che sono spesso sinsetemi delle classi ImageNet. Il modello SEER funziona diversamente in quanto mira ad apprendere caratteristiche in qualsiasi immagine casuale e, quindi, i dati di addestramento per il modello SEER non sono curati per allinearsi con un set predefinito di caratteristiche o concetti. 

Scalabilità delle architetture per il riconoscimento di immagini

I modelli traggono beneficio dall’addestramento di grandi architetture su caratteristiche visive di migliore qualità. È essenziale addestrare grandi architetture quando il pre-addestramento su un grande dataset è importante, poiché un modello con capacità limitate spesso sotto-addestra. Ciò è ancora più importante quando il pre-addestramento viene eseguito con l’apprendimento contrastivo, poiché in questi casi il modello deve imparare a discriminare tra le istanze del dataset in modo che possa apprendere migliori rappresentazioni visive. 

Tuttavia, per il riconoscimento di immagini, la scalabilità dell’architettura coinvolge molto più che semplicemente cambiare la profondità e la larghezza del modello e, per costruire un modello efficiente in termini di scala con una maggiore capacità, è necessario dedicare molto alla letteratura. Il modello SEER mostra i benefici dell’utilizzo della famiglia di modelli RegNets per il deploy dell’apprendimento autonoma su larga scala. 

SEER: metodi e componenti utilizzati

Il framework SEER utilizza una varietà di metodi e componenti per pre-addestrare il modello ad apprendere rappresentazioni visive. Alcuni dei principali metodi e componenti utilizzati dal framework SEER sono: RegNet e SwAV. Discutiamoli brevemente. 

Pre-addestramento autonoma con SwAV

Il framework SEER è pre-addestrato con SwAV, un approccio di apprendimento autonoma online. SwAV è un metodo di clustering online utilizzato per addestrare il framework convnet senza annotazioni. Il framework SwAV funziona addestrando un embedding che produce assegnazioni di cluster in modo coerente tra diverse viste della stessa immagine. Il sistema apprende quindi rappresentazioni semantiche estraendo cluster che sono invarianti alle modifiche dei dati. 

Nella pratica, il framework SwAV confronta le caratteristiche delle diverse viste di un’immagine utilizzando le loro assegnazioni di cluster indipendenti. Se queste assegnazioni catturano le stesse o caratteristiche simili, è possibile prevedere l’assegnazione di un’immagine utilizzando la rappresentazione delle caratteristiche di un’altra vista. 

Il modello SEER considera un set di K cluster e ogni cluster è associato a un vettore d-dimensionale vk. Per un batch di B immagini, ogni immagine i viene trasformata in due diverse viste: xi1 e xi2. Le viste vengono quindi featurizzate con l’aiuto di un convnet e ciò produce due set di caratteristiche: (f11, …, fB2), e (f12, … , fB2). Ogni set di caratteristiche viene quindi assegnato indipendentemente a prototipi di cluster con l’aiuto di un soluzione di trasporto ottimale. 

Il soluzione di trasporto ottimale assicura che le caratteristiche vengano divise uniformemente tra i cluster e aiuta a evitare soluzioni banali in cui tutte le rappresentazioni vengono mappate su un solo prototipo. L’assegnazione risultante viene quindi scambiata tra due set: l’assegnazione di cluster yi1 della vista xi1 deve essere prevista utilizzando la rappresentazione delle caratteristiche fi2 della vista xi2, e viceversa. 

I pesi del prototipo e il convnet vengono quindi addestrati per minimizzare la perdita per tutti gli esempi. La perdita di previsione del cluster l è essenzialmente l’entropia incrociata tra una funzione softmax del prodotto scalare di f e l’assegnazione del cluster. 

RegNetY: famiglia di modelli efficienti in termini di scala

La scalabilità della capacità del modello e dei dati richiede architetture che siano efficienti non solo in termini di memoria, ma anche in termini di runtime e il framework RegNets è una famiglia di modelli progettati specificamente per questo scopo. 

La famiglia di architetture RegNet è definita da uno spazio di progettazione di convnet con 4 fasi, ognuna delle quali contiene una serie di blocchi identici, garantendo che la struttura del blocco rimanga fissa, principalmente il blocco a collo di bottiglia residuale. 

Il framework SEER si concentra sull’architettura RegNetY e aggiunge una Squeeze-and-Excitation all’architettura RegNets standard nel tentativo di migliorare le loro prestazioni. Inoltre, il modello RegNetY ha 5 parametri che aiutano nella ricerca di buone istanze con un numero fisso di FLOPs che consumano risorse ragionevoli. Il modello SEER mira a migliorare i suoi risultati implementando l’architettura RegNetY direttamente sul suo compito di pre-addestramento autonoma. 

L’architettura RegNetY 256GF: Il modello SEER si concentra principalmente sull’architettura RegNetY 256GF nella famiglia RegNetY e i suoi parametri utilizzano la regola di scalabilità dell’architettura RegNets. I parametri sono descritti come segue. 

L’architettura RegNetY 256GF ha 4 fasi con larghezze di fase (528, 1056, 2904, 7392) e profondità di fase (2,7,17,1) che aggiungono oltre 696 milioni di parametri. Quando si addestra su 512 GPU NVIDIA (NVDA ) V100 da 32 GB, ogni iterazione richiede circa 6125 ms per un batch di 8.704 immagini. L’addestramento del modello su un dataset con oltre un miliardo di immagini, con un batch di 8.704 immagini su oltre 512 GPU, richiede 114.890 iterazioni e l’addestramento dura circa 8 giorni. 

Ottimizzazione e addestramento su larga scala

Il modello SEER propone diverse regolazioni per addestrare metodi autonoma e adattare questi metodi su larga scala. Questi metodi sono: 

1. Pianificazione della velocità di apprendimento. 
2. Riduzione del consumo di memoria per GPU. 
3. Ottimizzazione della velocità di addestramento. 
4. Pre-addestramento dei dati su larga scala. 

Discutiamoli brevemente. 

Pianificazione della velocità di apprendimento

Il modello SEER esplora la possibilità di utilizzare due pianificazioni della velocità di apprendimento: la pianificazione della velocità di apprendimento a onda cosinoidale, e la pianificazione della velocità di apprendimento fissa. 

La pianificazione della velocità di apprendimento a onda cosinoidale viene utilizzata per confrontare i modelli in modo equo poiché si adatta al numero di aggiornamenti. Tuttavia, la pianificazione della velocità di apprendimento a onda cosinoidale non si adatta all’addestramento su larga scala principalmente perché pesa le immagini in modo diverso in base a quando vengono visualizzate durante l’addestramento e utilizza aggiornamenti completi per la pianificazione. 

La pianificazione della velocità di apprendimento fissa mantiene la velocità di apprendimento fissa fino a quando la perdita non è in diminuzione e poi la velocità di apprendimento viene divisa per 2. L’analisi mostra che la pianificazione della velocità di apprendimento fissa funziona meglio poiché ha spazio per rendere l’addestramento più flessibile. Tuttavia, poiché il modello si addestra solo su 1 miliardo di immagini, utilizza la pianificazione della velocità di apprendimento a onda cosinoidale per l’addestramento del suo modello più grande, il RegNet 256GF. 

Riduzione del consumo di memoria per GPU

Il modello mira anche a ridurre la quantità di GPU necessaria durante il periodo di addestramento utilizzando la precisione mista e il checkpointing graduale. Il modello utilizza la libreria NVIDIA Apex Library con livello di ottimizzazione O1 per eseguire operazioni come convoluzioni e GEMMs con precisione a 16 bit. Il modello utilizza anche l’implementazione di PyTorch del checkpointing dei gradienti che scambia calcoli per memoria. 

Inoltre, il modello scarta anche le attivazioni intermedie create durante il passo forward e, durante il passo backward, ricompone queste attivazioni. 

Ottimizzazione della velocità di addestramento

L’utilizzo della precisione mista per ottimizzare l’utilizzo della memoria ha vantaggi aggiuntivi poiché gli acceleratori traggono vantaggio dalla dimensione ridotta di FP16 rispetto a FP32. Ciò aiuta a velocizzare il periodo di addestramento migliorando il collo di bottiglia della larghezza di banda della memoria. 

Il modello SEER sincronizza anche il livello BatchNorm tra le GPU per creare gruppi di processi invece di utilizzare la sincronizzazione globale che di solito richiede più tempo. Infine, il caricatore di dati utilizzato nel modello SEER pre-carica più batch di addestramento, il che porta a una maggiore quantità di dati che vengono elaborati quando si confronta con il caricatore di dati di PyTorch. 

Pre-addestramento dei dati su larga scala

Il modello SEER utilizza oltre un miliardo di immagini durante il pre-addestramento e considera un caricatore di dati che campiona immagini casuali direttamente da Internet e Instagram. Poiché il modello SEER addestra queste immagini in modo casuale e online, non applica alcun pre-elaboramento su queste immagini né le cura utilizzando processi come la de-duplicazione o il filtraggio degli hashtag. 

È importante notare che il dataset non è statico e le immagini nel dataset vengono aggiornate ogni tre mesi. Tuttavia, l’aggiornamento del dataset non influenza le prestazioni del modello. 

Implementazione del modello SEER

Il modello SEER pre-addestra un RegNetY 256GF con SwAV utilizzando sei raccolti per immagine, con ogni immagine che ha una risoluzione di 2×224 + 4×96. Durante la fase di pre-addestramento, il modello utilizza un MLP a 3 strati o perceptron multistrato con teste di proiezione di dimensioni 10444×8192, 8192×8192 e 8192×256. 

Invece di utilizzare livelli BatchNorm nella testa, il modello SEER utilizza 16.000 prototipi con la temperatura t impostata su 0,1. Il parametro di regolarizzazione Sinkhorn è impostato su 0,05 e si eseguono 10 iterazioni dell’algoritmo. Il modello sincronizza inoltre le statistiche BatchNorm tra le GPU e crea numerosi gruppi di processi con dimensione 64 per la sincronizzazione. 

Inoltre, il modello utilizza un ottimizzatore LARS o Layer-wise Adaptive Rate Scaling, un decadimento del peso di 10-5, checkpointing delle attivazioni e ottimizzazione della precisione mista O1. Il modello viene quindi addestrato con il gradiente stocastico utilizzando un batch di 8.192 immagini casuali distribuite su 512 GPU NVIDIA, risultando in 16 immagini per GPU. 

La velocità di apprendimento viene aumentata linearmente da 0,15 a 9,6 per i primi 8.000 aggiornamenti di addestramento. Dopo il riscaldamento, il modello segue una pianificazione della velocità di apprendimento a onda cosinoidale che decade a un valore finale di 0,0096. Complessivamente, il modello SEER addestra oltre un miliardo di immagini su 122.000 iterazioni. 

Risultati del framework SEER

La qualità delle caratteristiche generate dall’approccio di pre-addestramento autonoma viene studiata e analizzata su una varietà di benchmark e compiti downstream. Il modello considera anche un’impostazione a basso tiro che concede un accesso limitato alle immagini e alle loro etichette per i compiti downstream. 

Regolazione fine dei modelli pre-addestrati su larga scala

Misura la qualità dei modelli pre-addestrati su dati casuali trasferendoli sul benchmark ImageNet per la classificazione degli oggetti. I risultati sulla regolazione fine dei modelli pre-addestrati su larga scala sono determinati dai seguenti parametri. 

Impostazioni sperimentali

Il modello pre-addestra 6 architetture RegNet con capacità diverse, ovvero RegNetY- {8,16,32,64,128,256}GF, su oltre 1 miliardo di immagini casuali e pubbliche di Instagram con SwAV. I modelli vengono quindi regolati per la classificazione delle immagini sul dataset ImageNet che utilizza oltre 1,28 milioni di immagini di addestramento standard con etichette adeguate e ha un set di convalida standard con oltre 50.000 immagini per la valutazione. 

Il modello applica quindi le stesse tecniche di aumento dei dati come in SwAV e regola per 35 epoche con l’ottimizzatore SGD o Gradiente Stocastico con un batch di 256 e una velocità di apprendimento di 0,0125 che viene ridotta di un fattore di 10 dopo 30 epoche, momento di 0,9 e decadimento del peso di 10-4. Il modello riporta la precisione top-1 sul set di convalida utilizzando il centro del raccolto di 224×224. 

Confronto con altri approcci di pre-addestramento autonoma

Nella seguente tabella, il modello pre-addestrato più grande in RegNetY-256GF viene confrontato con modelli pre-addestrati esistenti che utilizzano l’approccio di apprendimento autonoma. 

Come si può vedere, il modello SEER restituisce una precisione top-1 dell’84,2% su ImageNet e supera SimCLRv2, il modello pre-addestrato esistente, di 1%. 

Inoltre, la seguente figura confronta il framework SEER con modelli di diverse capacità. Come si può vedere, indipendentemente dalla capacità del modello, la combinazione del framework RegNet con SwAV produce risultati precisi durante il pre-addestramento. 

Il modello SEER è pre-addestrato su immagini non curate e casuali e hanno l’architettura RegNet con il metodo di apprendimento autonoma SwAV. Il modello SEER viene confrontato con SimCLRv2 e i modelli ViT con diverse architetture di rete. Infine, il modello viene regolato sul dataset ImageNet e la precisione top-1 viene riportata. 

Impatto della capacità del modello

La capacità del modello ha un impatto significativo sulle prestazioni del modello durante il pre-addestramento e il seguente grafico confronta ciò con l’impatto quando si addestra da zero. 

È chiaro che il punteggio di precisione top-1 dei modelli pre-addestrati è più alto dei modelli addestrati da zero e la differenza diventa sempre più grande man mano che aumenta il numero di parametri. È anche evidente che, sebbene la capacità del modello benefici sia i modelli pre-addestrati che quelli addestrati da zero, l’impatto è maggiore sui modelli pre-addestrati quando si tratta di un grande numero di parametri. 

Un possibile motivo per cui l’addestramento di un modello da zero potrebbe sovrastimare quando si addestra sul dataset ImageNet è a causa della piccola dimensione del dataset.

Apprendimento a basso tiro

L’apprendimento a basso tiro si riferisce alla valutazione delle prestazioni del modello SEER in un’impostazione a basso tiro, ovvero utilizzando solo una frazione dei dati totali quando si eseguono compiti downstream. 

Impostazioni sperimentali

Il framework SEER utilizza due dataset per l’apprendimento a basso tiro, ovvero Places205 e ImageNet. Inoltre, il modello presume di avere un accesso limitato al dataset durante il trasferimento dell’apprendimento, sia in termini di immagini che di etichette. Questa impostazione di accesso limitato è diversa dalle impostazioni predefinite utilizzate per l’apprendimento autonoma, in cui il modello ha accesso all’intero dataset e solo l’accesso alle etichette delle immagini è limitato. 

• Risultati sul dataset Place205

La seguente figura mostra l’impatto del pre-addestramento del modello su diverse porzioni del dataset Place205. 

L’approccio utilizzato viene confrontato con il pre-addestramento del modello sul dataset ImageNet con supervisione con la stessa architettura RegNetY-128 GF. I risultati del confronto sono sorprendenti, poiché si può osservare che c’è un guadagno stabile di circa il 2,5% nella precisione top-1 indipendentemente dalla porzione di dati di addestramento disponibili per la regolazione fine sul dataset Place205. 

La differenza osservata tra il pre-addestramento supervisionato e autonoma può essere spiegata data la differenza nella natura dei dati di addestramento, poiché le caratteristiche apprese dal modello da immagini casuali nel mondo potrebbero essere più adatte per classificare la scena. Inoltre, una distribuzione non uniforme dei concetti sottostanti potrebbe dimostrarsi un vantaggio per il pre-addestramento su un dataset non bilanciato come Place205. 

Risultati su ImageNet

La tabella sopra confronta l’approccio del modello SEER con approcci di apprendimento autonoma e semi-supervisionato per l’apprendimento a basso tiro. È importante notare che tutti questi metodi utilizzano tutti i 1,2 milioni di immagini nel dataset ImageNet per il pre-addestramento e limitano solo l’accesso alle etichette. Al contrario, l’approccio utilizzato nel modello SEER consente di visualizzare solo l’1-10% del dataset ImageNet. 

Come si può vedere, anche se il modello SEER vede solo l’1-10% del dataset ImageNet, è comunque in grado di raggiungere una precisione top-1 dell’80%, che è appena inferiore alla precisione dei metodi discussi nella tabella sopra. 

Impatto della capacità del modello

La figura seguente discute l’impatto della capacità del modello sull’apprendimento a basso tiro: al 1%, 10% e 100% del dataset ImageNet. 

È chiaro che aumentare la capacità del modello può migliorare la precisione del modello man mano che si riduce l’accesso sia alle immagini che alle etichette nel dataset. 

Trasferimento ad altri benchmark

Per valutare ulteriormente il modello SEER e analizzare le sue prestazioni, le caratteristiche pre-addestrate vengono trasferite ad altri compiti downstream. 

Valutazione lineare della classificazione delle immagini

La tabella sopra confronta le caratteristiche del modello SEER pre-addestrate RegNetY-256GF e RegNetY128-GF con le stesse architetture con e senza supervisione. Per analizzare la qualità delle caratteristiche, il modello congela i pesi e utilizza un classificatore lineare sulle caratteristiche utilizzando il set di addestramento per i compiti downstream. I seguenti benchmark vengono considerati per il processo: Open-Images (OpIm), iNaturalist (iNat), Places205 (Places) e Pascal VOC (VOC). 

Rilevamento e segmentazione

La figura seguente confronta le caratteristiche pre-addestrate sul rilevamento e la segmentazione e le valuta. 

Il framework SEER addestra un modello Mask-RCNN sul benchmark COCO con caratteristiche pre-addestrate RegNetY-64GF e RegNetY-128GF come blocchi costitutivi. Per entrambe le architetture e i compiti downstream, l’approccio di pre-addestramento autonoma del modello SEER supera l’addestramento supervisionato di 1,5-2 punti AP. 

Confronto con il pre-addestramento debolmente supervisionato

La maggior parte delle immagini disponibili su Internet di solito hanno una descrizione meta o un testo alternativo, o descrizioni, o geolocalizzazioni che possono fornire vantaggio durante il pre-addestramento. I lavori precedenti hanno indicato che prevedere un set curato o etichettato di hashtag può migliorare la qualità della previsione delle caratteristiche visive risultanti. Tuttavia, questo approccio richiede di filtrare le immagini e funziona meglio solo quando è presente un metadato testuale. 

La figura seguente confronta il pre-addestramento di un’architettura ResNetXt101-32dx8d addestrata su immagini casuali con la stessa architettura addestrata su immagini etichettate con hashtag e metadati e riporta la precisione top-1 per entrambi. 

È chiaro che, sebbene il framework SEER non utilizzi i metadati durante il pre-addestramento, la sua precisione è paragonabile a quella dei modelli che utilizzano i metadati per il pre-addestramento. 

Studi di ablazione

Uno studio di ablazione viene eseguito per analizzare l’impatto di un particolare componente sulle prestazioni generali del modello. Uno studio di ablazione viene eseguito rimuovendo il componente dal modello e comprendendo come il modello si esegue. Ciò fornisce agli sviluppatori una panoramica dell’impatto di quel particolare componente sulle prestazioni del modello. 

Impatto dell’architettura del modello

L’architettura del modello ha un impatto significativo sulle prestazioni del modello, specialmente quando il modello viene scalato o le specifiche dei dati di pre-addestramento vengono modificate. 

La seguente figura discute l’impatto di come la modifica dell’architettura influisce sulla qualità delle caratteristiche pre-addestrate valutando il dataset ImageNet in modo lineare. Le caratteristiche pre-addestrate possono essere esaminate direttamente in questo caso poiché la valutazione non favorisce il modello che restituisce alta precisione quando addestrato da zero sul dataset ImageNet. 

È chiaro che per le architetture ResNeXts e ResNet, le caratteristiche ottenute dal livello penultimo funzionano meglio con le impostazioni attuali. D’altra parte, l’architettura RegNet supera le altre architetture. 

Complessivamente, si può concludere che aumentare la capacità del modello ha un impatto positivo sulla qualità delle caratteristiche e c’è un guadagno logaritmico nelle prestazioni del modello. 

Scalabilità dei dati di pre-addestramento

Ci sono due motivi principali per cui l’addestramento di un modello su un dataset più grande può migliorare la qualità delle caratteristiche visive che il modello apprende: più immagini uniche e più parametri. Analizziamo brevemente come questi motivi influenzano le prestazioni del modello. 

Aumento del numero di immagini uniche

La figura sopra confronta due diverse architetture, RegNet8 e RegNet16, che hanno lo stesso numero di parametri, ma vengono addestrate su diversi numeri di immagini uniche. Il framework SEER addestra i modelli per aggiornamenti corrispondenti a 1 epoca per 1 miliardo di immagini o 32 epoche per 32 immagini uniche e con una mezza onda cosinoidale di apprendimento. 

È chiaro che, per eseguire bene, il numero di immagini uniche fornite al modello dovrebbe idealmente essere più alto. In questo caso, il modello si esegue bene quando viene alimentato con immagini uniche maggiori del numero di immagini presenti nel dataset ImageNet. 

Più parametri

La figura seguente indica le prestazioni di un modello addestrato su un miliardo di immagini utilizzando l’architettura RegNet-128GF. È chiaro che le prestazioni del modello aumentano costantemente man mano che aumenta il numero di parametri. 

La visione computerizzata autonoma nel mondo reale

Finora, abbiamo discusso come funziona l’apprendimento autonoma e il modello SEER per la visione computerizzata in teoria. Ora, analizziamo come funziona la visione computerizzata autonoma in scenari reali e perché SEER è il futuro della visione computerizzata autonoma. 

Il modello SEER rivaleggia con il lavoro svolto nell’industria dell’elaborazione del linguaggio naturale, dove modelli di alto livello utilizzano trilioni di dataset e parametri accoppiati con trilioni di parole di testo durante il pre-addestramento del modello. Le prestazioni sui compiti downstream generalmente aumentano con l’aumento del numero di dati di input per l’addestramento del modello e lo stesso vale per i compiti di visione computerizzata. 

Tuttavia, utilizzare tecniche di apprendimento autonoma per l’elaborazione del linguaggio naturale è diverso dall’utilizzare l’apprendimento autonoma per la visione computerizzata. È perché, quando si lavora con testi, i concetti semantici vengono di solito suddivisi in parole discrete, ma quando si lavora con immagini, il modello deve decidere a quale concetto appartiene ogni pixel. 

Inoltre, diverse immagini hanno diverse viste e, anche se molte immagini possono avere lo stesso oggetto, il concetto può variare notevolmente. Ad esempio, considera un dataset con immagini di un gatto. Sebbene l’oggetto principale, il gatto, sia comune a tutte le immagini, il concetto può variare notevolmente poiché il gatto può stare fermo in un’immagine, mentre può giocare con una palla nell’altra e così via. Poiché le immagini spesso hanno concetti variabili, è essenziale per il modello esaminare una grande quantità di immagini per comprendere le differenze intorno allo stesso concetto. 

Scalare con successo un modello in modo che funzioni efficientemente con dati ad alta dimensionalità e complessi richiede due componenti: 

1. Una rete neurale convoluzionale o CNN sufficientemente grande per catturare e apprendere i concetti visivi da un grande dataset di immagini.
2. Un algoritmo che possa apprendere i pattern da una grande quantità di immagini senza etichette, annotazioni o metadati.

Il modello SEER mira ad applicare le componenti sopra menzionate al campo della visione computerizzata. Il modello SEER mira a sfruttare i progressi fatti da SwAV, un framework di apprendimento autonoma che utilizza il clustering online per raggruppare o accoppiare immagini con concetti visivi paralleli e sfruttare queste somiglianze per identificare i pattern meglio. 

Con l’architettura SwAV, il modello SEER è in grado di rendere l’utilizzo dell’apprendimento autonoma nella visione computerizzata molto più efficace e ridurre il tempo di addestramento fino a 6 volte. 

Inoltre, l’addestramento di modelli su larga scala, in questa scala, su oltre 1 miliardo di immagini, richiede un’architettura di modello che sia efficiente non solo in termini di runtime e memoria, ma anche di precisione. È qui che entrano in gioco i modelli RegNets, poiché sono modelli ConvNets che possono scalare trilioni di parametri e possono essere ottimizzati in base alle esigenze per conformarsi ai limiti di memoria e di runtime. 

Conclusione: un futuro autonoma

L’apprendimento autonoma è stato un argomento importante nell’industria AI e ML da un po’ di tempo, poiché consente ai modelli di AI di apprendere informazioni direttamente da una grande quantità di dati disponibili casualmente su Internet, invece di fare affidamento su dataset curati e etichettati progettati specificamente per l’addestramento dei modelli di AI. 

L’apprendimento autonoma è un concetto fondamentale per il futuro dell’AI e del ML, poiché ha il potenziale di consentire agli sviluppatori di creare modelli di AI che si adattino bene a scenari reali e abbiano molti utilizzi, anziché avere uno scopo specifico, e SEER è un punto di riferimento importante nell’implementazione dell’apprendimento autonoma nell’industria della visione computerizzata. 

Il modello SEER compie il primo passo nella trasformazione dell’industria della visione computerizzata, riducendo la nostra dipendenza dai dataset etichettati. Il modello SEER mira a eliminare la necessità di annotare i dataset, consentendo agli sviluppatori di lavorare con grandi quantità di dati diversi e ampi. L’implementazione di SEER è particolarmente utile per gli sviluppatori che lavorano su modelli che trattano aree con immagini o metadati limitati, come l’industria medica. 

Inoltre, l’eliminazione delle annotazioni umane consentirà agli sviluppatori di sviluppare e distribuire il modello più velocemente, il che consentirà loro di rispondere a situazioni in rapida evoluzione più velocemente e con maggiore precisione.