L’AI impara dall’AI: l’emergere dell’apprendimento sociale tra i grandi modelli linguistici

Da quando OpenAI ha presentato ChatGPT 3.5 alla fine del 2022, il ruolo dei modelli linguistici fondamentali (LLM) è diventato sempre più prominente nell’intelligenza artificiale (AI), in particolare nell’elaborazione del linguaggio naturale (NLP). Questi LLM, progettati per elaborare e generare testi simili a quelli umani, imparano da una vasta gamma di testi provenienti da Internet, che vanno da libri a siti web. Questo processo di apprendimento consente loro di catturare l’essenza del linguaggio umano, facendo sembrare i LLM come risolutori di problemi generali.

Mentre lo sviluppo dei LLM ha aperto nuove porte, il metodo di adattamento di questi modelli per applicazioni specifiche – noto come fine-tuning – presenta una serie di sfide. Il fine-tuning di un modello richiede un addestramento aggiuntivo su set di dati più focalizzati, il che può portare a difficoltà come la necessità di dati etichettati, il rischio di model drift e overfitting, e la necessità di risorse significative.

Per affrontare queste sfide, i ricercatori di Google hanno recentemente adottato l’idea di ‘apprendimento sociale‘ per aiutare l’AI a imparare dall’AI. L’idea chiave è che, quando i LLM vengono convertiti in chatbot, possono interagire e imparare l’uno dall’altro in modo simile all’apprendimento sociale umano. Questa interazione consente loro di imparare l’uno dall’altro, migliorando così la loro efficacia.

Cosa è l’apprendimento sociale?

L’apprendimento sociale non è un’idea nuova. Si basa su una teoria degli anni ’70 di Albert Bandura, che suggerisce che le persone imparano osservando gli altri. Questo concetto applicato all’AI significa che i sistemi di intelligenza artificiale possono migliorare interagendo tra loro, imparando non solo dalle esperienze dirette ma anche dalle azioni dei pari. Questo metodo promette un acquisto di abilità più rapido e potrebbe persino permettere ai sistemi di intelligenza artificiale di sviluppare la loro “cultura” condivisa condividendo conoscenze.

A differenza di altri metodi di apprendimento dell’AI, come l’apprendimento per prova ed errore reinforcement learning o imitation learning da esempi diretti, l’apprendimento sociale enfatizza l’apprendimento attraverso l’interazione. Offre un modo più pratico e comunitario per l’AI di acquisire nuove abilità.

Apprendimento sociale nei LLM

Un aspetto importante dell’apprendimento sociale è scambiare le conoscenze senza condividere informazioni originali e sensibili. Pertanto, i ricercatori hanno impiegato una dinamica insegnante-allievo in cui i modelli insegnanti facilitano il processo di apprendimento per i modelli allievi senza rivelare alcun dettaglio confidenziale. Per raggiungere questo obiettivo, i modelli insegnanti generano esempi sintetici o istruzioni a partire dai quali i modelli allievi possono imparare senza condividere i dati effettivi. Ad esempio, consideriamo un modello insegnante addestrato a distinguere tra messaggi di testo spam e non spam utilizzando dati contrassegnati dagli utenti. Se desideriamo che un altro modello padroneggi questo compito senza toccare i dati originali e privati, l’apprendimento sociale entra in gioco. Il modello insegnante creerebbe esempi sintetici o fornirebbe indicazioni in base alle proprie conoscenze, consentendo al modello allievo di identificare i messaggi spam in modo accurato senza essere esposto direttamente ai dati sensibili. Questa strategia non solo migliora l’efficienza dell’apprendimento, ma dimostra anche il potenziale per i LLM di imparare in modi dinamici e adattabili, potenzialmente costruendo una cultura di conoscenza condivisa. Una caratteristica fondamentale di questo approccio è la sua dipendenza da esempi sintetici e istruzioni create. Generando nuovi esempi informativi distinti dal set di dati originale, i modelli insegnanti possono preservare la privacy e allo stesso tempo guidare i modelli allievi verso un apprendimento efficace. Questo approccio ha dimostrato di essere efficace, raggiungendo risultati paragonabili a quelli ottenuti utilizzando i dati effettivi.

Come l’apprendimento sociale affronta le sfide del fine-tuning?

L’apprendimento sociale offre un nuovo modo per raffinare i LLM per compiti specifici. Aiuta a gestire le sfide del fine-tuning nei seguenti modi:

1. Meno necessità di dati etichettati: Imparando da esempi sintetici condivisi tra i modelli, l’apprendimento sociale riduce la dipendenza dai dati etichettati difficili da ottenere.
2. Evitare la specializzazione eccessiva: Mantiene i modelli versatili esponendoli a una gamma più ampia di esempi rispetto a quelli presenti in set di dati piccoli e specifici.
3. Ridurre l’overfitting: L’apprendimento sociale amplia l’esperienza di apprendimento, aiutando i modelli a generalizzare meglio e a evitare l’overfitting.
4. Risparmio di risorse: Questo approccio consente un utilizzo più efficiente delle risorse, poiché i modelli imparano dalle esperienze degli altri senza necessità di accesso diretto a grandi set di dati.

Direzioni future

Il potenziale dell’apprendimento sociale nei LLM suggerisce vari modi interessanti e significativi per future ricerche sull’AI:

1. Culture ibride dell’AI: Mentre i LLM partecipano all’apprendimento sociale, potrebbero iniziare a formare metodologie comuni. Gli studi potrebbero essere condotti per indagare gli effetti di queste emergenti “culture” dell’AI, esaminando la loro influenza sulle interazioni umane e le questioni etiche coinvolte.
2. Apprendimento cross-modale: Estendere l’apprendimento sociale oltre il testo per includere immagini, suoni e altro potrebbe portare a sistemi di intelligenza artificiale con una comprensione più ricca del mondo, simile a come gli esseri umani imparano attraverso più sensi.
3. Apprendimento decentralizzato: L’idea di modelli di AI che imparano l’uno dall’altro attraverso una rete decentralizzata presenta un modo nuovo per scalare la condivisione di conoscenze. Ciò richiederebbe affrontare sfide significative nella coordinazione, nella privacy e nella sicurezza.
4. Interazione uomo-AI: C’è potenziale nell’esplorare come gli esseri umani e l’AI possano trarre vantaggio reciproco dall’apprendimento sociale, specialmente in ambienti educativi e collaborativi. Ciò potrebbe ridefinire come avviene il trasferimento di conoscenze e l’innovazione.
5. Sviluppo etico dell’AI: Insegnare all’AI a gestire le sfide etiche attraverso l’apprendimento sociale potrebbe essere un passo verso un’AI più responsabile. L’attenzione si concentrerebbe sullo sviluppo di sistemi di intelligenza artificiale che possano ragionare eticamente e allinearsi con i valori della società.
6. Sistemi auto-miglioranti: Un ecosistema in cui i modelli di AI imparano e si migliorano continuamente dalle esperienze degli altri potrebbe accelerare l’innovazione dell’AI. Ciò suggerisce un futuro in cui l’AI possa adattarsi a nuove sfide in modo più autonomo.
7. Privacy nell’apprendimento: Con i modelli di AI che condividono conoscenze, assicurarsi della privacy dei dati sottostanti è cruciale. Gli sforzi futuri potrebbero esplorare metodi più sofisticati per abilitare il trasferimento di conoscenze senza compromettere la sicurezza dei dati.

Il punto fondamentale

I ricercatori di Google hanno fatto da pionieri in un approccio innovativo chiamato apprendimento sociale tra i grandi modelli linguistici (LLM), ispirato alla capacità umana di imparare osservando gli altri. Questo framework consente ai LLM di condividere conoscenze e migliorare le capacità senza accedere o esporre dati sensibili. Generando esempi sintetici e istruzioni, i LLM possono imparare in modo efficace, affrontando sfide chiave nello sviluppo dell’AI come la necessità di dati etichettati, la specializzazione eccessiva, l’overfitting e il consumo di risorse. L’apprendimento sociale non solo migliora l’efficienza e l’adattabilità dell’AI, ma apre anche possibilità per l’AI di sviluppare “culture” condivise, impegnarsi in apprendimento cross-modale, partecipare a reti decentralizzate, interagire con gli esseri umani in modi nuovi, navigare in dilemmi etici e garantire la privacy. Ciò segna un significativo passo verso sistemi di intelligenza artificiale più collaborativi, versatili ed etici, promettendo di ridefinire il panorama della ricerca e dell’applicazione dell’AI.