Interazione uomo-macchina: il problema dell’ “ultimo miglio” che rallenta l’adozione dell’intelligenza artificiale aziendale

Fino a poco tempo fa, le discussioni in sala riunioni sull’intelligenza artificiale si concentravano sui modelli stessi. La loro uscita è precisa? I dati di addestramento sono puliti? Come possiamo ridurre il bias? Le allucinazioni sono sotto controllo? Queste domande sono ancora importanti, naturalmente, ma l’uscita non è più l’unica cosa a cui si prestano attenzione i consigli di amministrazione e gli azionisti. Invece, stanno diventando interessati a qualcosa di molto più difficile da misurare: se i sistemi di intelligenza artificiale stanno effettivamente lavorando con le persone in modo efficace nelle interazioni quotidiane.

Questo è in parte il motivo per cui IBM ha recentemente trovato se stessa di fronte a una proposta di azionisti che chiede una maggiore trasparenza su come gestisce il bias e la governance dell’intelligenza artificiale. La proposta si è concentrata specificamente sulla mitigazione del bias, ma l’idea più ampia era che, poiché l’intelligenza artificiale diventa più profondamente integrata nei processi decisionali, viene giudicata in base alla sua responsabilità operativa e ai risultati aziendali misurabili, piuttosto che al suo livello di base di capacità.

Cosa sto vedendo nelle conversazioni con le imprese è che pochissime persone stanno ancora dibattendo se i modelli stessi siano capaci. La maggior parte delle organizzazioni già sa che questi sistemi possono generare uscite, automatizzare i flussi di lavoro e fornire informazioni a velocità straordinaria. La domanda più difficile è se tutto ciò sta migliorando costantemente i risultati all’interno dell’azienda. Gli impiegati stanno effettivamente utilizzando questi sistemi in modo significativo? Hanno fiducia nelle raccomandazioni che stanno ricevendo? Le decisioni stanno diventando più chiare, più rapide o più coerenti? O le organizzazioni stanno semplicemente generando più contenuti, più analisi e più rumore senza cambiare il modo in cui le persone operano? Il divario tra la capacità dell’intelligenza artificiale e l’adozione umana è ciò che io chiamo l'”ultimo miglio” dell’intelligenza artificiale aziendale. È dove si incontrano il ritorno sull’investimento, la fiducia, la responsabilità e la coerenza operativa, ed è dove molti dispiegamenti iniziano a bloccarsi.

La capacità non è il collo di bottiglia – il contesto umano lo è

La proposta di azionisti di IBM si è concentrata sul bias, una preoccupazione familiare e crescente nel settore. La risoluzione ha chiesto a IBM di produrre ulteriori rapporti sui metodi che utilizza per identificare e mitigare il bias attraverso i suoi modelli di intelligenza artificiale, compresi i potenziali rischi associati a quegli sforzi di mitigazione. IBM ha respinto, sostenendo che gran parte di queste informazioni era già disponibile pubblicamente attraverso le schede dei modelli, la documentazione sulla governance, la relazione sulla trasparenza e le presentazioni all’indice di trasparenza dei modelli di Stanford. La maggior parte degli osservatori ha riconosciuto che IBM ha fatto più di molti vendor per operativizzare le pratiche di intelligenza artificiale responsabile, mentre anche riconosceva che la governance e il bias rimangono sfide irrisolte a livello di settore.

Cosa mi interessa non è se la risposta di IBM sia stata giusta o sbagliata. È ciò che l’intera situazione dice su dove stanno andando le conversazioni sull’intelligenza artificiale aziendale. I consigli di amministrazione hanno in gran parte spostato la loro attenzione verso una nuova fase di valutazione dell’intelligenza artificiale, focalizzata sulla qualità delle decisioni, sull’impatto operativo, sulla fiducia degli impiegati e sull’adozione a lungo termine all’interno dell’azienda.

Questo è dove una lente di neuroscienza mi porta a una conclusione diversa da gran parte della conversazione attuale sull’intelligenza artificiale aziendale. Gli esseri umani non sono macchine razionali di input-output. Affrontiamo le decisioni con un’attenzione finita, una fiducia fluttuante, un sovraccarico cognitivo e un’intenzione costantemente in movimento. Quando le interazioni sembrano lente, quando le risposte precotte perdono ciò che intendevamo effettivamente, o quando le persone devono lottare contro il sistema per ottenere qualcosa di utile, l’impegno collassa molto prima che le metriche di adozione si aggiornino. Il rischio di allucinazione, l’incoerenza e il bias semplicemente aggravano il problema, creando attrito all’interno dei flussi di lavoro che erano stati originariamente progettati per migliorare la produttività e la presa di decisioni. Questo “ultimo miglio” è ciò che la maggior parte delle organizzazioni ancora sottovaluta: il valore dell’intelligenza artificiale non viene creato quando un modello genera una risposta, ma quando fornisce la risposta giusta al momento giusto e gli esseri umani possono fidarsi abbastanza da agire su ciò che produce.

Perché stiamo ignorando il vero “uomo nel loop” – l’utente?

Abbiamo sentito molto recentemente parlare di “uomo nel loop” e dell’importanza di avere un essere umano presente per approvare l’uscita guidata dall’intelligenza artificiale. Ma cosa succede se l’essere umano più importante – l’utente – non viene compreso correttamente? L’interazione uomo-uomo è complessa e multifacetta, ma il motivo per cui la comunicazione diretta funziona così bene è che nessuna sfumatura viene persa. Se qualcuno esita, perde fiducia, si frustra o si confonde, o la sua intenzione cambia, questo si riflette durante l’interazione e la conversazione si adatta di conseguenza. La maggior parte dei sistemi di intelligenza artificiale ancora lotta per riconoscere quei segnali perché sono più o meno “su binari” nel senso che stanno rispondendo solo all’ultimo prompt dell’utente.

A mio parere, questo sta diventando una delle limitazioni più importanti delle attuali implementazioni di intelligenza artificiale aziendale. Abbiamo costruito sistemi che sono eccezionalmente bravi a generare informazioni, rimanendo limitati nella loro capacità di riconoscere se quelle informazioni stanno aiutando qualcuno a prendere decisioni migliori.

Un’organizzazione può distribuire strumenti di intelligenza artificiale aziendale per migliaia di impiegati e ancora non riuscire a raggiungere un allineamento significativo su come quei sistemi stanno effettivamente essere utilizzati. Framework come il NIST AI Risk Management Framework, l’ISO/IEC 42001 e l’Atto AI dell’UE stanno spingendo le organizzazioni verso una maggiore maturità della governance e della responsabilità operativa. Tuttavia, la governance sulla carta non va molto lontano se l’impegno degli impiegati con l’intelligenza artificiale rimane frammentato. Se diversi team fidano e utilizzano l’intelligenza artificiale in modi completamente diversi, misurare il ritorno sull’investimento in modo coerente diventa quasi impossibile, ed è un problema che nessun prompt può risolvere.

Il costo dell’eccesso di intelligenza artificiale

Stiamo entrando in una fase in cui l’intelligenza artificiale sta diventando completamente onnipresente all’interno dei flussi di lavoro di intelligenza artificiale. Ci sono copiloti integrati nelle suite di produttività, riassunti di riunioni generati dall’intelligenza artificiale che arrivano dopo ogni chiamata, dashboard che forniscono informazioni predittive in tempo reale, motori di raccomandazione che forniscono suggerimenti costanti agli impiegati e analisi automatizzate che appaiono più velocemente di quanto la maggior parte dei team possa realisticamente elaborare. Sulla carta, questo sembra un progresso – le aziende stanno producendo più informazioni che mai. Tuttavia, la scienza cognitiva ha chiarito questo per decenni: più informazioni non producono automaticamente decisioni migliori.

Le persone possono assorbire solo una quantità limitata di informazioni prima che l’eccesso inizi a manifestarsi. Troppi suggerimenti creano esitazione. Troppi allarmi diventano rumore di fondo. Troppi suggerimenti generati dall’intelligenza artificiale possono lasciare gli impiegati incerti piuttosto che agire con fiducia. Cosa è interessante è che i sistemi di intelligenza artificiale stanno diventando eccezionalmente bravi a produrre informazioni, rimanendo relativamente poveri nel comprendere come gli esseri umani ricevono, interpretano e rispondono a quelle informazioni nel contesto. I consigli di amministrazione non si curano di quanti riassunti, raccomandazioni o analisi generate dall’intelligenza artificiale un sistema possa produrre. Si curano se le decisioni stanno diventando più chiare e più affidabili in tutta l’azienda.

L’intelligenza artificiale è entrata nella sua fase di responsabilità

La proposta di azionisti di IBM potrebbe essere nata da preoccupazioni sul bias, ma io credo che rifletta qualcosa di più ampio che sta accadendo in tutta l’intelligenza artificiale aziendale. La novità dell’intelligenza artificiale è passata, e le aziende che cercano un solido ritorno sull’investimento dell’intelligenza artificiale non possono più guardare solo alla capacità del modello. La tecnologia si è dimostrata, ma ora ha bisogno di una misura di responsabilità. Gli impiegati stanno utilizzando costantemente questi sistemi? Le decisioni stanno migliorando? La fiducia e l’impegno stanno aumentando nel tempo, o si stanno gradualmente erodendo? Man mano che l’intelligenza artificiale diventa più integrata nei flussi di lavoro quotidiani, la prossima generazione di sistemi potrebbe dover diventare molto più consapevole del comportamento umano, dell’attenzione, della fiducia e dell’intenzione se le aziende vogliono un’adozione sostenibile e un ritorno sull’investimento misurabile. Fino ad allora, l'”ultimo miglio” rimarrà probabilmente una delle sfide più grandi nell’adozione dell’intelligenza artificiale aziendale.