Come ho trasferito le mie conoscenze in sistemi di intelligenza artificiale in grado di prendere decisioni come gli esperti umani

Quando ho lasciato Microsoft e ho continuato a lavorare con le imprese sui loro deploy di intelligenza artificiale, ho notato che la maggior parte dei sistemi di intelligenza artificiale che la gente trovava emozionanti non potevano effettivamente prendere decisioni con un giudizio umano vero. Certo, potevano scrivere, riassumere e produrre testi notevolmente fluenti che sembravano una decisione, ma quando si inseriscono questi sistemi in un ambiente operativo reale, dove ci sono compromessi, incertezza, istruzioni incomplete e conseguenze reali, lottano velocemente. Ciò corrisponde ai dati del progetto MIT NANDA che mostra che mentre il 60% delle organizzazioni ha valutato gli strumenti di intelligenza artificiale, solo il 20% ha raggiunto lo stadio di pilotaggio e solo il 5% ha raggiunto la produzione. In altre parole, l’industria sta lottando per costruire sistemi che possano effettivamente reggere all’interno dei flussi di lavoro reali.

In ambienti aziendali, specialmente in aree come la catena di approvvigionamento, la produzione e le operazioni, ottenere una risposta non è difficile; è sapere quale risposta fidarsi, quali variabili sono più importanti e cosa potrebbe rompersi a valle se si sbaglia. Ai miei occhi, questo è sia un problema di competenza che di giudizio.

Per essere chiari, l’intelligenza artificiale ha fatto passi straordinari nella produzione di output migliori. Ma un output migliore non è lo stesso di decisioni migliori. Questi sono due pietre miliari distinte e penso che l’industria abbia trascorso molto tempo trattandoli come intercambiabili.

La mancanza di competenza e giudizio è il motivo per cui mi sono interessato a costruire intelligenza artificiale che gli esperti umani possano insegnare a prendere decisioni complesse come fanno loro. L’intelligenza artificiale non dovrebbe essere solo sull’automatizzazione delle attività, ma sull’effettiva e sicura trasferimento del giudizio umano in intelligenza artificiale che regge.

Large language models (LLMs) parlano come i decisori, ma non lo sono

Non c’è dubbio che i LLM siano utili, ma non sono, per default, sistemi di decisione. Sono sistemi di previsione avvolti nel linguaggio. E il linguaggio è persuasivo, il che fa parte del problema. Se un sistema può spiegarsi fluentemente, noi facilmente sovrastimiamo ciò che capisce. Gli chiedi una domanda aziendale, ti dà una risposta strutturata con compromessi, caveat e un piccolo riassunto alla fine, facendolo sembrare più intelligente di quanto non sia. Suonare coerente e essere competente operativamente non sono la stessa cosa, ed è qui che molti progetti di intelligenza artificiale aziendale si rompono. I modelli possono dirti cosa sembra una buona decisione senza avere alcuna comprensione di ciò che rende una decisione buona sotto pressione, nel tempo o nel contesto. Questo è uno dei motivi per cui molte organizzazioni lottano per andare oltre la sperimentazione. Gartner ha trovato che almeno il 50% dei progetti di intelligenza artificiale generativa vengono abbandonati dopo le prove di concetto, molto prima di fornire un impatto operativo reale, spesso a causa di controlli di valore e rischio non chiari.

Le informazioni non sono le stesse dell’esperienza

Una delle trappole più facili in cui cadere con l’intelligenza artificiale è supporre che se un sistema ha abbastanza informazioni, dovrebbe essere in grado di eseguire come un esperto. Sembra ragionevole, ma quando ci si pensa nella nostra vita quotidiana, aumentare le nostre informazioni su qualcosa non ci rende automaticamente esperti. Puoi leggere ogni manuale di aviazione e ancora non essere pronto ad atterrare un aereo. Puoi memorizzare ogni best practice nella catena di approvvigionamento e ancora congelare quando tre cose vanno storte contemporaneamente.

Potrei continuare, ma il punto è che le informazioni non equivalgono alla capacità. La capacità deriva dall’esperienza, specificamente, dall’esposizione ripetuta a situazioni confuse dove la risposta non è ovvia.

Ogni giorno, vedo che la maggior parte dei sistemi di intelligenza artificiale di oggi sono addestrati su esempi statici. Ciò è utile per fare previsioni, ma è solo una piccola parte della presa di decisioni. Le imprese non mancano di dati per sé, ma hanno bisogno di ambienti strutturati per la pratica, il che significa fornire sistemi ambienti in cui possano ripetutamente:

• Incontrare scenari realistici
• Fare scelte
• Vedere cosa succede
• Ricevere feedback
• Migliorare nel tempo

L’intelligenza artificiale può essere addestrata utilizzando algoritmi predittivi, ma questo approccio ha limitazioni. Ciò che è necessario dopo è un’intelligenza artificiale che possa essere addestrata in un ambiente simulato con la supervisione umana. Chiamo questo insegnamento della macchina, una metodologia che divide le decisioni complesse in scenari e abilità, fornendo una guida per gli esperti umani per insegnare all’intelligenza artificiale attraverso la simulazione. Il feedback e la prova e l’errore risultanti permettono infine agli agenti di imparare e agire con autonomia reale direttamente dalle persone che hanno costruito quei processi.

Smettere di trattare l’intelligenza artificiale come un monolite

Un altro errore che vedo spesso è l’ipotesi che un unico modello grande debba fare tutto. Nessuna squadra di basket è composta da una sola persona. Nessuna fabbrica è gestita da un individuo. I sistemi complessi funzionano perché diversi componenti fanno diversi lavori e c’è una struttura che li tiene insieme.

L’intelligenza artificiale dovrebbe essere costruita allo stesso modo. Non penso che il futuro a lungo termine della presa di decisioni aziendale sia un unico modello gigante seduto al centro dell’azienda che finge di essere universalmente competente. È molto più probabile che assomigli a squadre di agenti specializzati.

Un agente potrebbe essere un esperto di recupero dei dati. Un altro è meglio nella valutazione degli scenari. Un altro gestisce la pianificazione. Uno controlla la conformità o coglie le contraddizioni. Un altro agisce più come un supervisore, decidendo quando escalare o quando la fiducia è troppo bassa per procedere. L’architettura del team ha molto più senso per me perché si mappa su come funzionano le organizzazioni reali e si allinea con le tendenze del mercato più ampio. I risultati di McKinsey rafforzano che le organizzazioni ottengono il maggior valore dall’intelligenza artificiale ridisegnando i flussi di lavoro e le strutture operative intorno ad essa.

Non tutte le decisioni vengono prese allo stesso modo e troppo spesso assumiamo che lo stesso modello, gli stessi dati e lo stesso tipo di ragionamento possano gestirle tutte. In realtà, diverse decisioni richiedono diversi meccanismi.

I quattro modi in cui le decisioni avvengono effettivamente

Nella mia esperienza, la maggior parte delle decisioni tende a cadere in alcuni bucket:

1. Sistemi di controllo (regole e formule): Le decisioni vengono prese applicando equazioni o regole predefinite a input noti. Se X accade, fai Y.
2. Ricerca e ottimizzazione: Le decisioni vengono prese valutando molte opzioni possibili e selezionando la migliore in base a un obiettivo definito.
3. Apprendimento per rinforzo (prova e errore): Le decisioni vengono apprese nel tempo prendendo azioni, osservando i risultati e adattandosi in base a ricompensa o penalità.
4. Pratica e esperienza (apprendimento umano): Le decisioni vengono plasmate attraverso l’esposizione ripetuta, il feedback guidato e il giudizio accumulato in scenari del mondo reale.

La maggior parte dell’intelligenza artificiale aziendale si comporta bene nelle prime due categorie. La terza e la quarta categoria sono più impegnative per l’intelligenza artificiale, perché è lì che vive il giudizio umano.

L’autonomia senza struttura è un rischio

Ogni volta che le persone parlano di intelligenza artificiale autonoma, la conversazione tende a dividersi in due estremi. Un lato pensa che i sistemi siano essenzialmente magici e pronti a gestire tutto. L’altro lato agisce come se non dovessero essere affidati a nulla di significativo.

Non penso che nessuna delle due visioni sia utile. Dovremmo concentrarci sull’autonomia all’interno della struttura perché l’autonomia senza supervisione, logica di escalazione, confini o responsabilità è la principale fonte di rischio. Le preoccupazioni sul rischio stanno emergendo di più, anche nelle conversazioni plasmate dagli sforzi come il National Institute of Standards and Technology’s AI Risk Management Framework, che riflette quanto seriamente le organizzazioni stanno prendendo le questioni di supervisione, responsabilità e fiducia operativa.

Il futuro dell’intelligenza artificiale aziendale si trova in squadre di agenti. Le organizzazioni che ottengono il maggior valore dall’intelligenza artificiale non saranno quelle che automatizzano il maggior numero di parole. Sono quelle che capiscono come trasferire l’esperienza reale in sistemi che possano reggere quando l’ambiente si fa confuso. Quello, a mio parere, è la differenza tra intelligenza artificiale che sembra impressionante e intelligenza artificiale che diventa realmente utile, producendo un reale ROI.