L’IA diventa più intelligente; mantenere la coerenza è sempre più difficile

Ho dedicato tutta la mia carriera a cercare di capire l’intelligenza. Ho studiato neuroscienze perché mi interessava l’IA e pensavo che imparare prima come funziona il cervello fosse un buon punto di partenza. Prima l’intelligenza, poi quella «artificiale». Quella formazione mi ha lasciato un’abitudine. Quando arriva una nuova capacità o tecnologia, la prima domanda che mi pongo è pratica. Che cosa può fare davvero e per quali tipi di problemi del mondo reale?

Da esperto di IA, raramente esulto per i titoli sull’IA. Vado oltre il clamore per capire non solo le innovazioni, ma anche i limiti delle nuove capacità.

Dagli strumenti ordinari all’affidabilità in gioco

Nel 2020, quando il dibattito sulla sicurezza dell’IA era acceso e dominato da un entusiasmo spropositato, avevo un consiglio semplice. Considerate l’IA uno strumento: potente, ma pur sempre uno strumento. Attenetevi ai casi d’uso più ordinari. Lavorate a livello di singoli compiti, dove la tecnologia era abbastanza affidabile da poter essere d’aiuto. Il mio scenario ottimistico era fatto di strumenti ordinari ma utili.

Quando, un paio d’anni dopo, ha cominciato a prendere piede l’ondata degli agenti, ho adottato lo stesso approccio e non ne sono rimasto convinto. Un sistema agentico è forte solo quanto i compiti su cui si basa, e non avevo ancora visto l’affidabilità a livello di singolo compito necessaria perché questi sistemi fossero efficaci.

Nel frattempo, però, l’entusiasmo cresceva. Quando ho partecipato a RSA all’inizio dell’anno scorso, la distanza tra le parole e la sostanza era ancora difficile da ignorare. Non esisteva nemmeno una comprensione condivisa del significato di «agentico»: ognuno aveva una definizione e una prospettiva diverse. E mi preoccupava un aspetto strutturale. Prendete dieci agenti, ciascuno con un’accuratezza di circa il 95%. Concatenateli in modo che l’output di uno diventi l’input del successivo. Alla fine della catena, l’accuratezza scende a circa il 60%. L’affidabilità non regge quando si accumulano i passaggi. A quel punto avevo cominciato a riflettere sui sistemi composti da agenti, anche se la mia preoccupazione riguardava ancora la possibilità di fidarsi del loro funzionamento e della loro capacità di fare davvero la differenza.

Poi i rapidi miglioramenti degli agenti di programmazione mi hanno fatto cambiare idea.

Nel giro di pochi mesi dalla pubblicazione di un mio articolo sull’argomento, il ritmo straordinario dei progressi mi ha chiarito una cosa: per diversi compiti del mondo reale, era solo questione di tempo prima che si raggiungesse l’affidabilità. Modelli migliori, affiancati da infrastrutture ingegneristiche più efficaci, avrebbero colmato il divario che mi preoccupava. Il limite che temevo sarebbe stato superato.

È allora che il vero problema è diventato chiaro, e non era quello a cui avevo prestato attenzione. Quando ci si può fidare dei singoli agenti, non ci si ferma dopo averne implementato il primo. Se ne implementano molti. Intere flotte, in ogni funzione, ciascuno capace e ciascuno intento a svolgere il proprio compito. È emersa così una nuova domanda, che non aveva nulla a che fare con l’affidabilità. Se ogni agente della flotta fa ciò per cui è stato progettato, la flotta nel suo insieme risponde comunque agli obiettivi dell’organizzazione?

La necessità di una propriocezione organizzativa

Un corpo dotato di arti capaci non può muoversi bene senza la propriocezione, la percezione interna e costante di dove si trovino tutte le sue parti e di che cosa stiano facendo. Il cervelletto non si limita a reagire a queste informazioni: fa previsioni. Quando il cervello invia un comando motorio, si aspetta le sensazioni che quel movimento dovrebbe produrre e poi confronta questa previsione con ciò che accade davvero. La differenza tra i due segnali è ciò che permette di correggere il movimento successivo. I movimenti acquisiti con l’esperienza si basano su un ciclo continuo di previsione del risultato e correzione dello scarto.

Un’organizzazione che gestisce flotte di agenti ha bisogno della stessa consapevolezza di sé. Deve sapere in ogni momento dove si trovano i suoi sistemi e quanto si siano discostati dallo stato previsto. Senza questa consapevolezza interna, le componenti, per quanto capaci, non riescono a coordinarsi. Non si tratta di un meccanismo di rilevamento che si aggiunge in seguito a un corpo per renderlo più sicuro. È necessario perché il corpo possa anche solo muoversi.

È ben documentato il caso di un uomo di nome Ian Waterman, che perse questa capacità in gran parte del corpo. Imparò di nuovo a muoversi, ma solo guardandosi e guidando con gli occhi ogni passo e ogni gesto. Funziona, ma è anche estenuante e precario. Se si spegne la luce, non riesce più a coordinarsi. Un’organizzazione che governa i propri agenti tramite audit manuali e revisioni periodiche si trova nella stessa situazione. Compensa con uno sforzo costante una capacità che non ha mai sviluppato, e questo sforzo costa più di ciò che sostituisce. L’intero sistema crolla non appena cambiano le condizioni.

C’è un altro tipo di fallimento, ancora più singolare, che vale la pena menzionare: è descritto in un affascinante libro del neuroscienziato V S Ramachandran. Quando un arto viene amputato, il cervello non si zittisce. Continua a inviare segnali all’arto mancante e la persona li percepisce vividamente. Anche la governance può fallire nello stesso modo. Se, a causa di una ristrutturazione o di una negligenza, si priva una funzione di supervisione del suo reale potere di giudizio, questa non si interrompe. Le revisioni continuano a essere completate e si continuano a produrre metriche. L’organizzazione continua ad avere l’impressione di essere sottoposta a supervisione, anche se il giudizio che dovrebbe sostenerla è stato svuotato. È qui che torna il mio consiglio del 2020 sulla trasparenza. Non può esserci supervisione senza trasparenza, né trasparenza in un sistema che si limita a dare l’impressione di essere monitorato.

La coerenza come risorsa scarsa

L’intelligenza costa sempre meno. Presto sarà presente in ogni flusso di lavoro e in ogni strumento. In questo mondo, la risorsa più scarsa è la coerenza: il legame vivo tra ciò che ogni sistema fa autonomamente e ciò che l’azienda cerca di realizzare. La coerenza è il tessuto connettivo che mantiene l’intelligenza distribuita allineata a un unico obiettivo.

Ho passato anni a studiare come il cervello riesca a far funzionare insieme tutte le sue parti. L’era degli agenti pone all’azienda la stessa domanda. L’obiettivo non è cambiato dal 2020. Ancora noioso, ma utile. Ora, la cosa noiosa ma utile da costruire è proprio la coerenza.