Andrew Ng critica la cultura dell’overfitting nel machine learning

Andrew Ng, una delle voci più influenti nel machine learning degli ultimi dieci anni, sta attualmente esprimendo preoccupazioni circa l’estensione con cui il settore enfatizza le innovazioni nell’architettura dei modelli rispetto ai dati – e in particolare, l’estensione con cui consente risultati “overfitted” come soluzioni generalizzate o avanzate.

Queste sono critiche ampie alla cultura attuale del machine learning, provenienti da una delle sue massime autorità, e hanno implicazioni per la fiducia in un settore caratterizzato da paure su un terzo crollo della fiducia aziendale nello sviluppo dell’IA in un arco di tempo di sessant’anni.

Ng, professore alla Stanford University, è anche uno dei fondatori di deeplearning.ai, e nel marzo ha pubblicato un messaggio sul sito dell’organizzazione che ha distillato un discorso recente in un paio di raccomandazioni fondamentali:

In primo luogo, che la comunità di ricerca dovrebbe smettere di lamentarsi che la pulizia dei dati rappresenta l’80% delle sfide nel machine learning, e iniziare a sviluppare metodologie e pratiche MLOps robuste.

In secondo luogo, che dovrebbe allontanarsi dalle “vittorie facili” che possono essere ottenute sovra-adattando i dati a un modello di machine learning, in modo che funzioni bene su quel modello ma non riesca a generalizzare o a produrre un modello ampiamente distribuibile.

Accettare la sfida dell’architettura e della cura dei dati

“La mia opinione”, ha scritto Ng, “è che se l’80% del nostro lavoro è la preparazione dei dati, allora assicurarsi della qualità dei dati è il lavoro importante di un team di machine learning”.

Ha continuato:

“Piuttosto che contare sugli ingegneri per trovare il modo migliore per migliorare un set di dati, spero che possiamo sviluppare strumenti MLOps che aiutino a rendere la costruzione di sistemi di intelligenza artificiale, compresa la costruzione di set di dati di alta qualità, più ripetibile e sistematica.

“MLOps è un campo nascente e diverse persone lo definiscono in modo diverso. Ma credo che il principio organizzativo più importante per i team e gli strumenti MLOps dovrebbe essere quello di assicurare il flusso costante e di alta qualità dei dati in tutte le fasi di un progetto. Ciò aiuterà molti progetti a procedere più facilmente.”

Parlando su Zoom in una sessione di Q&A in diretta streaming alla fine di aprile, Ng ha affrontato la questione della carenza di applicabilità dei sistemi di analisi del machine learning per la radiologia:

“Risulta che quando raccogliamo dati dall’Ospedale di Stanford, poi li addestriamo e li testiamo sui dati dello stesso ospedale, possiamo pubblicare articoli che mostrano [gli algoritmi] sono paragonabili ai radiologi umani nel rilevamento di certe condizioni.

“…[Quando] si prende lo stesso modello, lo stesso sistema di intelligenza artificiale, e lo si porta in un ospedale più vecchio lungo la strada, con una macchina più vecchia, e il tecnico utilizza un protocollo di imaging leggermente diverso, quei dati si spostano per causare il degrado significativo delle prestazioni del sistema di intelligenza artificiale. Al contrario, qualsiasi radiologo umano può camminare lungo la strada fino all’ospedale più vecchio e farlo bene.”

La sottospecificazione non è una soluzione

L’overfitting si verifica quando un modello di machine learning è progettato specificamente per adattarsi alle eccentricità di un particolare set di dati (o al modo in cui i dati sono formattati). Ciò può comportare, ad esempio, la specificazione di pesi che produrranno buoni risultati da quel set di dati, ma non “generalizzeranno” su altri dati.

In molti casi, tali parametri sono definiti su aspetti “non-dati” del set di addestramento, come la risoluzione specifica delle informazioni raccolte o altre idiosincrasie che non sono garantite per ripetersi in altri set di dati successivi.

Sebbene sarebbe bello, l’overfitting non è un problema che può essere risolto allargando ciecamente la portata o la flessibilità dell’architettura dei dati o del design del modello, quando ciò che è realmente necessario sono caratteristiche ampiamente applicabili e molto salienti che funzioneranno bene in una gamma di ambienti di dati – una sfida più spinosa.

In generale, questo tipo di “sottospecificazione” porta solo ai problemi che Ng ha di recente delineato, dove un modello di machine learning fallisce su dati non visti. La differenza in questo caso è che il modello fallisce non perché i dati o la formattazione dei dati sono diversi dal set di addestramento originale sovra-adattato, ma perché il modello è troppo flessibile piuttosto che troppo fragile.

Tardo nel 2020 il documento Underspecification Presents Challenges for Credibility in Modern Machine Learning ha mosso una critica intensa contro questa pratica, e porta i nomi di non meno di quaranta ricercatori e scienziati di machine learning di Google e MIT, tra le altre istituzioni.

Il documento critica l'”apprendimento dei shortcut” e osserva il modo in cui i modelli sottospecificati possono prendere direzioni selvagge in base al punto di inizio casuale dell’addestramento del modello. I contributori osservano:

‘Abbiamo visto che la sottospecificazione è ubiqua nelle pipeline di machine learning pratiche in molti domini. In effetti, grazie alla sottospecificazione, aspetti sostanzialmente importanti delle decisioni sono determinati da scelte arbitrarie come il seme casuale utilizzato per l’inizializzazione dei parametri.’

Ripercussioni economiche del cambiamento della cultura

Nonostante le sue credenziali accademiche, Ng non è un accademico astratto, ma ha una profonda e alta esperienza industriale come co-fondatore di Google Brain e Coursera, come ex chief scientist per Big Data e AI a Baidu, e come fondatore di Landing AI, che amministra 175 milioni di dollari per nuove startup nel settore.

Quando dice “Tutto l’IA, non solo la sanità, ha un divario tra la prova del concetto e la produzione”, è inteso come un richiamo alla realtà per un settore la cui attuale iper-attività e storia macchiata l’ha sempre più caratterizzato come un investimento aziendale incerto a lungo termine, caratterizzato da problemi di definizione e portata.

Tuttavia, i sistemi di machine learning proprietari che funzionano bene in situ e falliscono in altri ambienti rappresentano il tipo di cattura del mercato che potrebbe ricompensare gli investimenti aziendali. Presentare il “problema dell’overfitting” nel contesto di un pericolo professionale offre un modo disonesto per monetizzare gli investimenti aziendali nella ricerca open source, e produrre (effettivamente) sistemi proprietari in cui la replica da parte dei concorrenti è possibile, ma problematica.

Se questo approccio funzionerà a lungo termine dipenderà dall’estensione con cui i veri progressi nel machine learning continueranno a richiedere livelli di investimento sempre maggiori, e se tutte le iniziative produttive migreranno inevitabilmente verso FAANG in qualche misura, a causa delle risorse colossali necessarie per l’hosting e le operazioni.