I ricercatori di Google scoprono il problema dell’underspecification che ostacola molti modelli di intelligenza artificiale

Recentemente, un team di ricercatori di Google (GOOGL ) ha identificato una causa comune dei fallimenti dei modelli di intelligenza artificiale, indicando l’underspecification come una delle principali ragioni per cui i modelli di apprendimento automatico spesso si comportano in modo molto diverso nel mondo reale rispetto a quanto fatto durante il test e lo sviluppo.

I modelli di apprendimento automatico spesso falliscono quando affrontano compiti in un ambiente del mondo reale, anche se i modelli si comportano in modo ottimale in laboratorio. Ci sono molte ragioni per cui si verifica la discordanza tra le prestazioni di formazione/sviluppo e quelle del mondo reale. Una delle ragioni più comuni per cui i modelli di intelligenza artificiale falliscono durante i compiti del mondo reale è un concetto noto come data shift. Il data shift si riferisce a una differenza fondamentale tra il tipo di dati utilizzato per sviluppare un modello di apprendimento automatico e i dati immessi nel modello durante l’applicazione. Ad esempio, i modelli di visione computerizzata addestrati su dati di immagini di alta qualità avranno difficoltà a eseguire i compiti quando ricevono dati catturati da fotocamere di bassa qualità presenti nell’ambiente quotidiano del modello.

Secondo MIT Technology Review, un team di 40 diversi ricercatori di Google ha identificato un’altra ragione per cui le prestazioni di un modello di apprendimento automatico possono variare drasticamente. Il problema è l'”underspecification”, un concetto statistico che descrive problemi in cui i fenomeni osservati hanno molte cause possibili, non tutte delle quali sono contemplate dal modello. Secondo il capo dello studio Alex D’Amour, il problema si verifica in molti modelli di apprendimento automatico, affermando che il fenomeno “si verifica ovunque”.

Il metodo tipico di formazione di un modello di apprendimento automatico consiste nel fornire al modello una grande quantità di dati che può analizzare ed estrarre modelli rilevanti. Successivamente, il modello riceve esempi che non ha visto e gli viene chiesto di prevedere la natura di quegli esempi in base alle caratteristiche che ha appreso. Una volta che il modello ha raggiunto un certo livello di precisione, la formazione viene generalmente considerata completa.

Secondo il team di ricerca di Google, è necessario fare di più per garantire che i modelli possano veramente generalizzare ai dati non di formazione. Il metodo classico di formazione dei modelli di apprendimento automatico produrrà vari modelli che possono superare tutti i test, ma questi modelli differiranno in piccoli modi che sembrano insignificanti ma non lo sono. I diversi nodi dei modelli avranno valori casuali assegnati in modo diverso, o i dati di formazione potrebbero essere selezionati o rappresentati in modi diversi. Queste variazioni sono piccole e spesso arbitrarie, e se non hanno un grande impatto su come i modelli si comportano durante la formazione, sono facili da trascurare. Tuttavia, quando l’impatto di tutte queste piccole modifiche si accumula, possono portare a grandi variazioni nelle prestazioni del mondo reale.

Questa underspecification è problematica perché significa che, anche se il processo di formazione è in grado di produrre buoni modelli, può anche produrre un modello scadente e la differenza non verrebbe scoperta fino a quando il modello non esce dalla produzione e non entra nell’uso.

Per valutare l’impatto dell’underspecification, il team di ricerca ha esaminato una serie di modelli diversi. Ogni modello è stato addestrato utilizzando lo stesso processo di formazione, e poi i modelli sono stati sottoposti a una serie di test per evidenziare le differenze nelle prestazioni. In un caso, 50 diverse versioni di un sistema di riconoscimento di immagini sono state addestrate sul set di dati ImageNet. I modelli erano tutti uguali, tranne che per i valori della rete neurale che erano stati assegnati casualmente all’inizio della formazione. I test di stress utilizzati per determinare le differenze nei modelli sono stati condotti utilizzando ImageNet-C, una variante del set di dati originale costituita da immagini modificate attraverso l’aggiustamento del contrasto o della luminosità. I modelli sono stati anche testati su ObjectNet, una serie di immagini che rappresentano oggetti quotidiani in orientamenti e contesti insoliti. Anche se tutti e 50 i modelli avevano prestazioni simili sul set di dati di formazione, le prestazioni variavano ampiamente quando i modelli venivano eseguiti attraverso i test di stress.

Il team di ricerca ha trovato risultati simili quando ha addestrato e testato due diversi sistemi NLP, nonché quando ha testato vari altri modelli di visione computerizzata. In ogni caso, i modelli si discostavano notevolmente gli uni dagli altri, anche se il processo di formazione per tutti i modelli era lo stesso.

Secondo D’Amour, i ricercatori e gli ingegneri di apprendimento automatico devono fare molto di più per testare i modelli prima di rilasciarli nel mondo reale. Ciò può essere difficile da fare, poiché i test di stress devono essere personalizzati per compiti specifici utilizzando dati del mondo reale, dati che possono essere difficili da ottenere per alcuni compiti e contesti. Una possibile soluzione al problema dell’underspecification è produrre molti modelli contemporaneamente e poi testarli su una serie di compiti del mondo reale, selezionando il modello che mostra costantemente i migliori risultati. Sviluppare modelli in questo modo richiede molto tempo e risorse, ma il compromesso potrebbe valere la pena, soprattutto per i modelli di intelligenza artificiale utilizzati in contesti medici o in altre aree in cui la sicurezza è una preoccupazione primaria. Come ha spiegato D’Amour via MIT Technology Review:

“Dobbiamo migliorare la specifica esatta delle nostre esigenze per i nostri modelli. Perché spesso ciò che accade è che scopriamo queste esigenze solo dopo che il modello ha fallito nel mondo.”