Daremo possiamo fidarci dei risultati dell’intelligenza artificiale senza quantificazione dell’incertezza

La dipendenza della società dalle applicazioni di intelligenza artificiale (AI) e apprendimento automatico (ML) continua a crescere, ridefinendo il modo in cui le informazioni vengono consumate. Dalle chatbot alimentate da AI ai sintesi di informazioni prodotte da Large Language Models (LLM), la società ha accesso a più informazioni e approfondimenti che mai prima d’ora. Tuttavia, mentre le aziende tecnologiche corrono a implementare l’AI in tutta la loro catena di valore, una domanda critica si pone. Possiamo davvero fidarci dei risultati delle soluzioni di intelligenza artificiale?

Possiamo davvero fidarci dei risultati dell’AI senza quantificazione dell’incertezza

Per un dato input, un modello potrebbe aver generato molti altri output altrettanto plausibili. Ciò potrebbe essere dovuto a dati di addestramento insufficienti, variazioni nei dati di addestramento o altre cause. Quando si distribuiscono modelli, le organizzazioni possono utilizzare la quantificazione dell’incertezza per fornire ai propri utenti finali una comprensione più chiara di quanto dovrebbero fidarsi del risultato di un modello di intelligenza artificiale/apprendimento automatico. La quantificazione dell’incertezza è il processo di stima di quali altri output potrebbero essere stati generati.

Immagina un modello che prevede la temperatura massima di domani. Il modello potrebbe generare l’output 21ºC, ma la quantificazione dell’incertezza applicata a quel output potrebbe indicare che il modello avrebbe potuto generare gli output 12 ºC, 15 ºC o 16 ºC; sapendo questo, quanto ci fidiamo ora della semplice previsione di 20 ºC? Nonostante il suo potenziale per instaurare fiducia o consigliare prudenza, molte organizzazioni stanno scegliendo di saltare la quantificazione dell’incertezza a causa del lavoro aggiuntivo che devono fare per implementarla, nonché a causa delle sue richieste di risorse di calcolo e velocità di inferenza.

Sistemi human-in-the-loop, come i sistemi di diagnosi e prognosi medica, coinvolgono gli esseri umani come parte del processo decisionale. Fidandosi ciecamente dei dati delle soluzioni di intelligenza artificiale/sanità, i professionisti sanitari rischiano di diagnosticare male un paziente, portando potenzialmente a risultati sanitari scadenti – o peggio. La quantificazione dell’incertezza può permettere ai professionisti sanitari di vedere, quantitativamente, quando possono fidarsi di più dei risultati dell’AI e quando dovrebbero trattare le previsioni specifiche con cautela. Allo stesso modo, in un sistema completamente automatizzato come un’auto a guida autonoma, l’output di un modello per stimare la distanza di un ostacolo potrebbe portare a un incidente che potrebbe essere stato evitato con la quantificazione dell’incertezza sulla stima della distanza.

La sfida di utilizzare i metodi di Monte Carlo per costruire fiducia nei modelli di intelligenza artificiale/apprendimento automatico

I metodi di Monte Carlo, sviluppati durante il Progetto Manhattan, sono un modo robusto per eseguire la quantificazione dell’incertezza. Essi coinvolgono la ripetizione degli algoritmi più volte con input leggermente diversi fino a quando ulteriori iterazioni non forniscono più molte informazioni negli output; quando il processo raggiunge tale stato, si dice che è convergente. Uno svantaggio dei metodi di Monte Carlo è che sono generalmente lenti e richiedono molte risorse di calcolo, richiedendo molte ripetizioni dei loro calcoli costituenti per ottenere un output convergente e hanno una variabilità intrinseca tra quegli output. Poiché i metodi di Monte Carlo utilizzano gli output dei generatori di numeri casuali come uno dei loro blocchi costitutivi, anche quando si esegue un Monte Carlo con molte ripetizioni interne, i risultati che si ottengono cambieranno quando si ripete il processo con parametri identici.

Il percorso verso l’affidabilità dei modelli di intelligenza artificiale/apprendimento automatico

A differenza dei server tradizionali e degli acceleratori specifici per l’AI, una nuova generazione di piattaforme di calcolo sta essere sviluppata per elaborare direttamente le distribuzioni di probabilità empiriche allo stesso modo in cui le piattaforme di calcolo tradizionali elaborano interi e valori a virgola mobile. Distribuendo i loro modelli di intelligenza artificiale su queste piattaforme, le organizzazioni possono automatizzare l’implementazione della quantificazione dell’incertezza sui loro modelli pre-addestrati e possono anche velocizzare altri tipi di calcoli che hanno tradizionalmente utilizzato i metodi di Monte Carlo, come i calcoli del valore a rischio nella finanza. In particolare, per lo scenario del valore a rischio, questa nuova generazione di piattaforme consente alle organizzazioni di lavorare con distribuzioni empiriche costruite direttamente dai dati di mercato reali, piuttosto che approssimare queste distribuzioni con campioni generati da generatori di numeri casuali, per analisi più accurate e risultati più rapidi.

Le recenti scoperte nel campo del calcolo hanno notevolmente abbassato le barriere alla quantificazione dell’incertezza. Un recente articolo di ricerca pubblicato dai miei colleghi e da me, nel workshop di Machine Learning With New Compute Paradigms a NeurIPS 2024, evidenzia come una piattaforma di calcolo di nuova generazione che abbiamo sviluppato abbia consentito l’esecuzione dell’analisi della quantificazione dell’incertezza oltre 100 volte più veloce rispetto all’esecuzione di analisi basate su Monte Carlo tradizionali su un server Intel-Xeon di alta gamma. Progressi come questi consentono alle organizzazioni che distribuiscono soluzioni di intelligenza artificiale di implementare la quantificazione dell’incertezza con facilità e di eseguire tale quantificazione con bassi overhead.

Il futuro dell’affidabilità dell’intelligenza artificiale/apprendimento automatico dipende dal calcolo di nuova generazione avanzato

Mentre le organizzazioni integrano più soluzioni di intelligenza artificiale nella società, l’affidabilità dell’intelligenza artificiale/apprendimento automatico diventerà una priorità assoluta. Le imprese non possono più permettersi di saltare l’implementazione di strutture nei loro modelli di intelligenza artificiale per consentire ai consumatori di sapere quando trattare i risultati specifici dei modelli di intelligenza artificiale con scetticismo. La domanda di tale spiegabilità e quantificazione dell’incertezza è chiara, con circa tre persone su quattro che indicano che si fiderebbero di più di un sistema di intelligenza artificiale se fossero presenti meccanismi di garanzia appropriati.

Le nuove tecnologie di calcolo stanno rendendo sempre più facile implementare e distribuire la quantificazione dell’incertezza. Mentre l’industria e gli organismi regolatori affrontano altre sfide associate alla distribuzione dell’intelligenza artificiale nella società, c’è almeno l’opportunità di instaurare la fiducia che gli esseri umani richiedono, rendendo la quantificazione dell’incertezza la norma nelle distribuzioni di intelligenza artificiale.