I ricercatori di intelligenza artificiale sviluppano un metodo rapido per calcolare gli intervalli di confidenza, segnalando quando un modello non dovrebbe essere considerato attendibile

I ricercatori del MIT hanno di recente sviluppato una tecnica che consente ai modelli di reti neurali profonde di calcolare rapidamente i livelli di confidenza, il che potrebbe aiutare gli scienziati dei dati e gli altri utenti di intelligenza artificiale a sapere quando fidarsi delle previsioni rese da un modello.

I sistemi di intelligenza artificiale basati su reti neurali artificiali sono responsabili di sempre più decisioni, comprese molte decisioni che coinvolgono la salute e la sicurezza delle persone. A causa di ciò, le reti neurali dovrebbero avere un metodo per stimare la confidenza nei loro output, consentendo agli scienziati dei dati di capire quanto sono attendibili le loro previsioni. Di recente, un team di ricercatori di Harvard e MIT ha progettato un modo rapido per le reti neurali di generare un’indicazione della confidenza del modello insieme alle sue previsioni.

I modelli di apprendimento profondo sono diventati sempre più sofisticati nel corso dell’ultimo decennio e ora possono facilmente superare gli esseri umani nei compiti di classificazione dei dati. I modelli di apprendimento profondo sono utilizzati in campi in cui la salute e la sicurezza delle persone possono essere a rischio se falliscono, come la guida di veicoli autonomi e la diagnosi di condizioni mediche da scansioni. In questi casi, non è sufficiente che un modello sia accurate al 99%, perché l’1% di volte in cui il modello fallisce può portare a catastrofi. Pertanto, è necessario un metodo per cui gli scienziati dei dati possano determinare quanto sono attendibili le previsioni.

Esistono diversi modi per generare un intervallo di confidenza insieme alle previsioni delle reti neurali, ma i metodi tradizionali per stimare l’incertezza per una rete neurale sono abbastanza lenti e computazionalmente costosi. Le reti neurali possono essere incredibilmente grandi e complesse, con miliardi di parametri. La generazione di previsioni può essere computazionalmente costosa e richiedere molto tempo, e la generazione di un livello di confidenza per le previsioni richiede ancora più tempo. La maggior parte dei metodi precedenti per quantificare l’incertezza si sono basati sul campionamento o sull’esecuzione della rete più e più volte per ottenere una stima della sua confidenza. Ciò non è sempre fattibile per applicazioni che richiedono un traffico ad alta velocità.

Come riportato da MIT News, Alexander Amini guida il gruppo combinato di ricercatori di MIT e Harvard, e secondo Amini il metodo sviluppato dai ricercatori accelera il processo di generazione di stime di incertezza utilizzando una tecnica chiamata “regressione evidenziale profonda”. Amini ha spiegato via MIT che gli scienziati dei dati richiedono sia modelli ad alta velocità che stime attendibili dell’incertezza in modo che i modelli non attendibili possano essere rilevati. Per preservare sia la velocità del modello che generare una stima di incertezza, i ricercatori hanno progettato un modo per stimare l’incertezza da una sola esecuzione del modello.

I ricercatori hanno progettato il modello di rete neurale in modo tale che una distribuzione probabilistica fosse generata insieme a ogni decisione. La rete tiene traccia delle prove per le sue decisioni durante il processo di formazione, generando una distribuzione di probabilità in base alle prove. La distribuzione evidenziale rappresenta la confidenza del modello e rappresenta l’incertezza sia per la decisione finale del modello che per i dati di input originali. La cattura dell’incertezza sia per i dati di input che per le decisioni è importante, poiché la riduzione dell’incertezza dipende dalla conoscenza della fonte dell’incertezza.

I ricercatori hanno testato la loro tecnica di stima dell’incertezza applicandola a un compito di visione computerizzata. Dopo che il modello è stato addestrato su una serie di immagini, ha generato sia previsioni che stime di incertezza. La rete ha proiettato correttamente un’alta incertezza per le istanze in cui la previsione errata è stata fatta. “Era molto calibrata agli errori che la rete fa, che crediamo sia una delle cose più importanti nel giudicare la qualità di un nuovo stimatore di incertezza”, ha detto Amini riguardo ai risultati del test del modello.

Il team di ricerca ha condotto ulteriori test con la loro architettura di rete. Per sottoporre a stress la tecnica, hanno anche testato i dati su “dati fuori dalla distribuzione”, dataset composti da oggetti che la rete non aveva mai visto prima. Come previsto, la rete ha segnalato un’incertezza più alta per questi oggetti non visti. Quando addestrata su ambienti interni, la rete ha mostrato un’alta incertezza quando testata su immagini di ambienti esterni. I test hanno mostrato che la rete poteva evidenziare quando le sue decisioni erano soggette a un’alta incertezza e non dovevano essere considerate attendibili in determinate situazioni ad alto rischio.

Il team di ricerca ha anche riferito che la rete poteva discernere quando le immagini erano state manomesse. Quando il team di ricerca ha alterato le foto con rumore avversario, la rete ha etichettato le immagini alterate con stime di incertezza elevate, nonostante l’effetto fosse troppo sottile per essere visto da un osservatore umano medio.

Se la tecnica si rivela attendibile, la regressione evidenziale profonda potrebbe migliorare la sicurezza dei modelli di intelligenza artificiale in generale. Secondo Amini, la regressione evidenziale profonda potrebbe aiutare le persone a prendere decisioni prudenti quando utilizzano modelli di intelligenza artificiale in situazioni rischiose. Come ha spiegato Amini via MIT News:

“Stiamo iniziando a vedere molti più di questi [modelli di rete neurale] uscire dal laboratorio di ricerca e entrare nel mondo reale, in situazioni che toccano gli esseri umani con conseguenze potenzialmente letali. Chiunque utilizzi il metodo, sia un medico che una persona seduta nel sedile del passeggero di un veicolo, deve essere consapevole di qualsiasi rischio o incertezza associato a quella decisione.”