Quando l’AI pensa come gli esseri umani: esplorare la mente dei modelli LLM e degli agenti

Oggi, i modelli LLM e gli agenti imparano, analizzano e prendono decisioni in modi che possono confondere la linea tra il loro “pensiero” algoritmico e la mente umana. Gli approcci su cui sono costruiti già mimano i nostri processi cognitivi, e la scala della loro formazione supera l’esperienza umana di diversi ordini di grandezza. Ciò solleva la domanda: stiamo creando uno strumento che amplia le nostre capacità o stiamo dando vita a un nuovo tipo di mente le cui conseguenze sono ancora impossibili da prevedere?

Come pensano i modelli

È importante distinguere tra i concetti di LLM e agenti. Per tracciare un’analogia con un computer, un LLM può essere paragonato a uno dei suoi componenti, ad esempio il processore. Un agente, tuttavia, è l’intero sistema, una “scheda madre” a cui sono collegati vari moduli: memoria, scheda grafica e rete. Allo stesso modo, un agente è un sistema complesso che può incorporare uno o più LLM, integrati con meccanismi di decisione e strumenti per interagire con l’ambiente esterno.

Se consideriamo il lavoro di un singolo LLM, tutto si riduce al riconoscimento di pattern. Tuttavia, quando un agente collega più LLM, possiamo dire che “pensa”, anche se questo processo è ancora costruito su pattern. L’agente costruisce la logica di interazione tra i modelli: ad esempio, un LLM analizza il compito e, in base a questa analisi, l’agente determina quale azione debba eseguire un altro LLM.

Il pensiero umano funziona in modo simile: ci basiamo sulla conoscenza e sui pattern accumulati, li selezioniamo al momento giusto, li elaboriamo e formuliamo conclusioni. Questo processo si chiama ragionamento.

ChatGPT, come un essere umano, ha due tipi di memoria: a breve termine e a lungo termine. La differenza è che negli esseri umani l’accesso a questi livelli di memoria è più complesso e non sempre lineare.

La memoria a breve termine è l’informazione con cui stiamo lavorando attualmente. Per una persona, potrebbe essere ciò che hai detto cinque minuti fa: potrebbe ricordarlo o no. GPT, tuttavia, tiene sempre conto di tutto ciò che rientra nella sua “finestra di contesto” – non può saltare o ignorare questi dati.

La memoria a lungo termine negli esseri umani consiste in ricordi che non sono sempre attivi e possono emergere solo con specifici trigger: un ricordo d’infanzia, un trauma o, ad esempio, lavorare con uno psicologo. GPT ha una logica simile: non “ricorda” le informazioni di sua iniziativa a meno che non venga attivata specificamente. Ad esempio, un’istruzione come “Non chiedermi mai più questa domanda” o “Rivolgitemi sempre la parola in forma formale” può essere archiviata nella memoria a lungo termine e applicata durante ogni sessione.

Un altro esempio di memoria a lungo termine sono i documenti salvati. Supponi di aver caricato su GPT un’istruzione per condurre una ricerca di mercato. Il modello può archiviarla nella memoria, ma ciò non significa che la richiamerà con ogni domanda. Se chiedi: “Puoi illuminare la Luna con una torcia?”, GPT ignorerà l’istruzione. Ma se la richiesta contiene parole chiave che corrispondono al testo del documento, il modello può “ricordarlo”.

Questo meccanismo viene implementato tramite RAG (Retrieval-Augmented Generation), un approccio in cui il modello ottiene l’accesso alle informazioni archiviate attivate da segnali rilevanti tramite database vettoriali.

Quindi, si può dire che il modello abbia effettivamente una memoria, ma funziona secondo una logica diversa, più formalizzata, distinta dalla memoria umana.

Perché una conversazione con l’AI a volte sembra terapeutica e altre volte fredda e robotica?

I moderni modelli linguistici sono estremamente grandi: archiviano una quantità colossale di dati, conoscenze e contesto. Tutte queste informazioni sono organizzate in cosiddetti “cluster”, aree tematiche e semantiche. Il modello è stato addestrato su fonti diverse, che vanno dalla narrativa e dagli articoli scientifici ai commenti su YouTube.

Quando interagisci con l’AI, la tua query (prompt) di fatto indirizza il modello a un certo cluster.

Ad esempio, se scrivi: “Sei un avvocato immobiliare a New York con 20 anni di esperienza, aiutami a comprare un appartamento”, il modello attiva diversi cluster contemporaneamente: avvocato → New York → immobili. Di conseguenza, ricevi una risposta coerente, pertinente e realistica, come se stessi realmente consultando un professionista esperto.

Se la query riguarda argomenti più personali o filosofici, come lo sviluppo personale o le emozioni, il modello “passa” ad altri cluster, come la psicologia, la filosofia o il lavoro interiore. In questo caso, le sue risposte possono sembrare sorprendentemente umane e persino terapeutiche.

Tuttavia, con una formulazione eccessivamente generica o vaga, il modello si “perde” nella sua struttura di cluster e fornisce una risposta predefinita, formale, distaccata e priva di tono emotivo.

Lo stile e la profondità della risposta dell’AI dipendono dal cluster a cui lo indirizzi con il tuo prompt.

La filosofia della formazione del modello e del RLHF

L’intelligenza artificiale ha diversi approcci all’apprendimento. Non è tanto una filosofia quanto una strategia.

L’opzione classica è l’apprendimento supervisionato, in cui il modello riceve una domanda e la risposta corretta. Impara osservando ciò che è considerato corretto e poi riproduce soluzioni simili in futuro.

Ma un altro approccio è il RLHF (Reinforcement Learning from Human Feedback). Questo è uno stile diverso: il modello tenta qualcosa, riceve una “ricompensa” per azioni di successo e regola il suo comportamento. Gradualmente, sviluppa una strategia efficace.

Il RLHF può essere paragonato al processo di trasformazione della materia grezza in un prodotto finito. Per creare un modello che sia conveniente da usare, è necessario un lavoro enorme con il feedback umano.

Immagina di mostrarmi un oggetto senza nominarlo direttamente. Esiti: “È un portacenere? Un portafoglio?” Ti do solo indizi come: “Più vicino”, “Più lontano”, “60% sì”. Dopo centinaia di queste iterazioni, indovini: “Ah, è un portafoglio”.

I LLM sono addestrati in questo modo. Gli esseri umani, gli annotatori e i professionisti in generale valutano: questa risposta è buona, questa è cattiva e assegnano punteggi. Aziende come Keymakr, che si specializzano nell’annotazione e convalida dei dati di alta qualità, svolgono un ruolo chiave in questo processo. Il feedback proviene anche dagli utenti comuni: mi piace, reclami e reazioni. Il modello interpreta questi segnali, formando modelli di comportamento.

Come appare la formazione del modello nella pratica

Un esempio vivido è l’esperimento di OpenAI che addestra agenti utilizzando l’apprendimento per rinforzo nel gioco “Nascondino e cerca”.

Due squadre hanno partecipato: i “cercatori” (rossi) e i “nascondigli” (blu). Le regole erano semplici: se un cercatore cattura un nascondiglio, guadagna un punto; se no, perde uno. Inizialmente, gli agenti avevano solo capacità fisiche di base, come correre e saltare, senza alcuna strategia predefinita.

All’inizio, i cercatori agivano in modo caotico e la cattura degli avversari avveniva per caso. Ma dopo milioni di iterazioni, il loro comportamento si è evoluto. I nascondigli hanno iniziato a utilizzare gli oggetti circostanti per bloccare le porte e costruire barriere. Queste abilità sono emerse senza programmazione diretta, solo attraverso tentativi ripetuti e ricompense per il successo.

In risposta, i cercatori hanno iniziato a utilizzare il salto, una capacità disponibile fin dall’inizio ma precedentemente ignorata. Dopo una serie di fallimenti, l’uso casuale del salto ha rivelato il suo valore tattico. Quindi i nascondigli hanno complicato ulteriormente la loro difesa, rimuovendo gli oggetti dalla linea di vista dei cercatori e costruendo ripari più affidabili.

L’esperimento ha mostrato che, attraverso miliardi di cicli di prova, errore, ricompense e penalità, può formarsi un comportamento cooperativo complesso senza l’intervento degli sviluppatori. Inoltre, gli agenti hanno iniziato ad agire in coordinamento, anche se i meccanismi di comunicazione non erano stati programmati, semplicemente perché il lavoro di squadra si è rivelato più efficace.

È lo stesso per i grandi modelli linguistici. È impossibile scrivere tutti gli scenari: ci sono troppe situazioni e troppa variabilità nel mondo. Quindi, non insegniamo al modello regole fisse; gli insegniamo come imparare.

Questo è il valore del RLHF. Senza di esso, un LLM e gli agenti rimangono solo una libreria di testi. Con esso, diventa un partner conversazionale capace di adattarsi, correggersi e, in sostanza, evolversi.

Cosa viene dopo?

Molti si chiedono se gli sviluppi dei LLM e degli agenti potrebbero portare a conseguenze indesiderabili o persino pericolose.

È importante capire che ciò che vediamo oggi non è nemmeno un MVP, ma solo un prototipo.

La vera rivoluzione non sarà aiutare a scrivere una bella lettera o tradurla in francese. Sono cose minori. La direzione principale è l’automazione dei microcompiti e dei processi di routine, lasciando agli esseri umani solo compiti veramente creativi, intellettuali o tempo per riposare.

Le vere innovazioni si concentrano sugli agenti, sistemi che possono pensare, agire e prendere decisioni in modo indipendente al posto di una persona. È proprio qui che aziende come OpenAI, Google, Meta e altre stanno concentrando i loro sforzi oggi.

I grandi modelli linguistici sono solo la base. Il vero futuro risiede negli agenti addestrati a vivere in un mondo dinamico, ricevere feedback e adattarsi ai cambiamenti.