I ricercatori di intelligenza artificiale sviluppano un metodo rapido per calcolare gli intervalli di confidenza, segnalando quando il modello non dovrebbe essere considerato attendibile

Ricercatori del MIT recentemente sviluppato una tecnica che consente ai modelli di rete di deep learning di calcolare rapidamente i livelli di confidenza, il che potrebbe aiutare i data scientist e altri utenti di intelligenza artificiale a sapere quando fidarsi delle previsioni rese da un modello.

Oggigiorno i sistemi di intelligenza artificiale basati su reti neurali artificiali sono responsabili di un numero sempre maggiore di decisioni, comprese molte decisioni che coinvolgono la salute e la sicurezza delle persone. Per questo motivo, le reti neurali dovrebbero disporre di un metodo per stimare la fiducia nei loro risultati, consentendo ai data scientist di stabilire quanto siano affidabili le loro previsioni. Recentemente, un team di ricercatori di Harvard e del MIT ha progettato un modo rapido per consentire alle reti neurali di generare un'indicazione della fiducia di un modello insieme alle sue previsioni.

I modelli di deep learning sono diventati sempre più sofisticati negli ultimi dieci anni e ora possono facilmente superare gli umani nelle attività di classificazione dei dati. I modelli di deep learning vengono utilizzati in campi in cui la salute e la sicurezza delle persone possono essere a rischio in caso di guasto, guidando veicoli autonomi e diagnosticando condizioni mediche dalle scansioni. In questi casi, non è sufficiente che un modello sia accurato al 99%, l'1% delle volte in cui il modello fallisce ha il potenziale per portare alla catastrofe. Di conseguenza, deve esserci un modo in cui i data scientist possono determinare quanto sia affidabile una data previsione.

Esistono diversi modi in cui è possibile generare un intervallo di confidenza insieme alle previsioni delle reti neurali, ma i metodi tradizionali di stima dell'incertezza per una rete neurale sono piuttosto lenti e computazionalmente costosi. Le reti neurali possono essere incredibilmente grandi e complesse, piene di miliardi di parametri. La semplice generazione di previsioni può essere computazionalmente costosa e richiedere una notevole quantità di tempo, e la generazione di un livello di confidenza per le previsioni richiede ancora più tempo. La maggior parte dei metodi precedenti per quantificare l'incertezza si basava sul campionamento o sull'esecuzione ripetuta di una rete per ottenere una stima della sua confidenza. Questo non è sempre fattibile per le applicazioni che richiedono traffico ad alta velocità.

Come riportato da MIT News, Alexander Amini guida il gruppo combinato di ricercatori del MIT e di Harvard, e secondo Amini il metodo sviluppato dai loro ricercatori accelera il processo di generazione delle stime dell'incertezza utilizzando una tecnica chiamata "regressione probatoria profonda". Amini ha spiegato tramite il MIT che i data scientist richiedono sia modelli ad alta velocità che stime affidabili dell'incertezza in modo da poter distinguere modelli inaffidabili. Per preservare sia la velocità del modello che generare una stima dell'incertezza, i ricercatori hanno progettato un modo per stimare l'incertezza da una singola esecuzione del modello.

I ricercatori hanno progettato il modello della rete neurale in modo tale da generare una distribuzione probabilistica insieme a ogni decisione. La rete mantiene le prove per le sue decisioni durante il processo di formazione, generando una distribuzione di probabilità basata sulle prove. La distribuzione probatoria rappresenta la confidenza del modello e rappresenta l'incertezza sia per la decisione finale del modello che per i dati di input originali. Catturare l'incertezza sia per i dati di input che per le decisioni è importante, poiché la riduzione dell'incertezza dipende dalla conoscenza della fonte dell'incertezza.

I ricercatori hanno testato la loro tecnica di stima dell’incertezza applicandola a un compito di visione artificiale. Dopo che il modello è stato addestrato su una serie di immagini, ha generato sia previsioni che stime di incertezza. La rete ha previsto correttamente un’elevata incertezza per i casi in cui è stata fatta la previsione sbagliata. "È stato molto calibrato sugli errori commessi dalla rete, cosa che riteniamo sia stata una delle cose più importanti nel giudicare la qualità di un nuovo stimatore dell'incertezza", ha affermato Amini riguardo ai risultati dei test del modello.

Il team di ricerca ha continuato a condurre ulteriori test con la loro architettura di rete. Per testare la tecnica, hanno anche testato i dati su dati "fuori distribuzione", set di dati composti da oggetti che la rete non aveva mai visto prima. Come previsto, la rete ha riportato una maggiore incertezza per questi oggetti invisibili. Quando è stata addestrata in ambienti interni, la rete ha mostrato un'elevata incertezza quando è stata testata su immagini provenienti da ambienti esterni. I test hanno mostrato che la rete poteva evidenziare quando le sue decisioni erano soggette a un'elevata incertezza e non dovrebbero essere attendibili in determinate circostanze ad alto rischio.

Il team di ricerca ha anche riferito che la rete poteva discernere quando le immagini erano state manipolate. Quando il team di ricerca ha alterato le foto con rumore contraddittorio, la rete ha etichettato le immagini appena modificate con stime di incertezza elevate, nonostante il fatto che l'effetto fosse troppo sottile per essere visto dall'osservatore umano medio.

Se la tecnica si dimostrerà affidabile, una profonda regressione probatoria potrebbe migliorare la sicurezza dei modelli di intelligenza artificiale in generale. Secondo Amini, una profonda regressione probatoria potrebbe aiutare le persone a prendere decisioni attente quando utilizzano modelli di intelligenza artificiale in situazioni rischiose. Come ha spiegato Amini tramite MIT News:

“Stiamo iniziando a vedere molti più di questi modelli [di rete neurale] fuoriuscire dal laboratorio di ricerca e nel mondo reale, in situazioni che toccano gli esseri umani con conseguenze potenzialmente pericolose per la vita. Qualsiasi utente del metodo, che si tratti di un medico o di una persona sul sedile del passeggero di un veicolo, deve essere consapevole di qualsiasi rischio o incertezza associati a tale decisione.