Affrontare le attuali problematiche all’interno dei modelli linguistici di grandi dimensioni (LLM) e guardare avanti a ciò che verrà

Oggi, ci sono decine di modelli linguistici di grandi dimensioni (LLM) disponibili pubblicamente, come GPT-3, GPT-4, LaMDA o Bard, e il loro numero sta crescendo costantemente con il rilascio di nuovi modelli. Gli LLM hanno rivoluzionato l’intelligenza artificiale, alterando completamente il modo in cui interagiamo con la tecnologia in vari settori. Questi modelli ci consentono di apprendere da molti set di dati linguistici umani e hanno aperto nuove strade per l’innovazione, la creatività e l’efficienza.

Tuttavia, con grande potere arriva grande complessità. Ci sono sfide e problemi etici intrinseci ai modelli LLM che devono essere affrontati prima di poterli utilizzare al massimo delle loro potenzialità. Ad esempio, uno studio recente di Stanford ha riscontrato pregiudizi razziali e di genere quando ha osservato ChatGPT-4 per come trattava determinate query che includevano nomi e cognomi che suggerivano razza o genere. In questo studio, il programma è stato chiesto di fornire consigli su quanto pagare per una bicicletta usata venduta da qualcuno di nome Jamal Washington, il che ha prodotto un importo molto inferiore rispetto a quando il venditore era Logan Becker. Mentre queste scoperte continuano a emergere, la necessità di affrontare le sfide degli LLM aumenta.

Come mitigare le preoccupazioni comuni relative agli LLM

Pregiudizio

Una delle questioni più discusse tra gli LLM è il pregiudizio e la parità. In uno studio recente, gli esperti hanno testato quattro LLM pubblicati di recente e hanno scoperto che tutti esprimevano supposizioni pregiudicate sugli uomini e le donne, in particolare quelle allineate con le percezioni delle persone piuttosto che con quelle basate sui fatti. In questo contesto, il pregiudizio si riferisce al trattamento o agli esiti disuguali tra diversi gruppi sociali, probabilmente a causa di squilibri di potere storici o strutturali.

Negli LLM, il pregiudizio è causato dalla selezione dei dati, dalle caratteristiche demografiche dei creatori e dalla distorsione linguistica o culturale. La distorsione della selezione dei dati si verifica quando i testi scelti per l’addestramento degli LLM non rappresentano la piena diversità del linguaggio utilizzato su Internet. Gli LLM addestrati su set di dati estensivi ma limitati possono ereditare i pregiudizi già presenti in questi testi. Con le caratteristiche demografiche dei creatori, determinati gruppi demografici sono evidenziati più frequentemente di altri, il che esemplifica la necessità di maggiore diversità e inclusività nella creazione di contenuti per ridurre il pregiudizio. Ad esempio, Wikipedia, una fonte comune di dati di addestramento, presenta un notevole squilibrio demografico tra i suoi editor, con una maggioranza maschile (84%). Ciò è simile alla distorsione trovata per la lingua e la cultura. Molti dei dati di addestramento degli LLM sono distorti, tendendo a essere centrati sull’inglese, il che si traduce solo occasionalmente in modo accurato in altre lingue e culture.

È fondamentale che gli LLM siano addestrati su dati filtrati e che siano presenti sistemi di controllo per sopprimere gli argomenti che non rappresentano in modo coerente i dati. Un modo per farlo è attraverso tecniche di aumento dei dati. È possibile aggiungere esempi di gruppi sottorappresentati ai dati di addestramento, ampliando così la diversità del set di dati. Un’altra tattica di mitigazione è la filtrazione e il ripescaggio dei dati, che si concentra principalmente sul targeting preciso di esempi specifici e sottorappresentati all’interno di un set di dati esistente.

Allucinazioni

All’interno del contesto degli LLM, le allucinazioni sono un fenomeno caratterizzato dalla produzione di un testo che, sebbene grammaticalmente corretto e apparentemente coerente, si discosta dall’accuratezza fattuale o dall’intento del materiale di origine. In effetti, rapporti recenti hanno scoperto che una causa legale su una legge del Minnesota è stata direttamente influenzata dalle allucinazioni degli LLM. Un affidavit presentato per sostenere la legge ha incluso fonti inesistenti che potrebbero essere state allucinate da ChatGPT o da un altro LLM. Queste allucinazioni possono facilmente diminuire l’affidabilità di un LLM.

Ci sono tre forme principali di allucinazioni:

1. Allucinazione in conflitto con l’input: si verifica quando l’output di un LLM si discosta dall’input fornito dall’utente, che di solito include le istruzioni del compito e il contenuto effettivo da elaborare.
2. Allucinazione in conflitto con il contesto: gli LLM possono generare risposte internamente incoerenti in scenari che coinvolgono dialoghi prolungati o molteplici scambi. Ciò suggerisce una potenziale carenza nella capacità del modello di tracciare il contesto o mantenere la coerenza su più interazioni.
3. Allucinazione in conflitto con i fatti: si verifica quando un LLM produce contenuti in contrasto con la conoscenza fattuale stabilita. Le origini di tali errori sono diverse e possono verificarsi in vari stadi del ciclo di vita di un LLM.

Molti fattori hanno contribuito a questo fenomeno, come carenze di conoscenza, che spiega come gli LLM possano mancare della conoscenza o della capacità di assimilare le informazioni in modo corretto durante l’addestramento pre-iniziale. Inoltre, i pregiudizi presenti nei dati di addestramento o una strategia di generazione sequenziale degli LLM, soprannominata “neve a valanga di allucinazioni”, possono creare allucinazioni.

Ci sono modi per mitigare le allucinazioni, sebbene saranno sempre una caratteristica degli LLM. Strategie di mitigazione utili per le allucinazioni includono la mitigazione durante l’addestramento pre-iniziale (raffinamento manuale dei dati utilizzando tecniche di filtraggio) o la fine-tuning (cura dei dati di addestramento). Tuttavia, la mitigazione durante l’inferenza è la soluzione migliore a causa della sua efficacia in termini di costo e controllabilità.

Riservatezza

Con l’aumento di Internet, l’accessibilità aumentata delle informazioni personali e di altri dati privati è diventata una preoccupazione ampiamente riconosciuta. Uno studio ha scoperto che l’80% dei consumatori americani è preoccupato che i loro dati vengano utilizzati per addestrare modelli di intelligenza artificiale. Poiché gli LLM più prominenti sono tratti da siti web, dobbiamo considerare come ciò comporti rischi per la riservatezza e rimane un problema in gran parte irrisolto per gli LLM.

Il modo più semplice per impedire agli LLM di diffondere informazioni personali è quello di eliminarle dai dati di addestramento. Tuttavia, data la grande quantità di dati coinvolti negli LLM, è quasi impossibile garantire che tutte le informazioni private siano state eliminate. Un’altra alternativa comune per le organizzazioni che si affidano a modelli sviluppati esternamente è quella di scegliere un LLM open-source invece di un servizio come ChatGPT.

Con questo approccio, una copia del modello può essere distribuita internamente. I prompt degli utenti rimangono sicuri all’interno della rete dell’organizzazione invece di essere esposti a servizi di terze parti. Sebbene ciò riduca drasticamente il rischio di perdita di dati sensibili, aggiunge anche una notevole complessità. Date le difficoltà di garantire pienamente la protezione dei dati privati, è comunque fondamentale per gli sviluppatori di applicazioni considerare come questi modelli potrebbero mettere a rischio gli utenti.

La prossima frontiera per gli LLM

Mentre continuiamo a crescere e a plasmare le successive evoluzioni degli LLM attraverso la mitigazione dei rischi attuali, ci si può aspettare il breakthrough degli agenti LLM, che già vediamo aziende come H con Runner H, che iniziano a essere rilasciati. Il passaggio da modelli linguistici puri ad architetture agentiche rappresenta un cambiamento nella progettazione dei sistemi di intelligenza artificiale; l’industria si sta spostando oltre le limitazioni intrinseche delle interfacce di chat e della generazione aumentata semplice. Queste nuove strutture di agenti avranno moduli di pianificazione sofisticati che decompongono obiettivi complessi in sottocompiti atomici, mantengono la memoria episodica per il ragionamento contestuale e sfruttano strumenti specializzati attraverso API ben definite. Ciò crea un approccio più robusto all’automazione dei compiti. La progressione architettonica aiuta a mitigare le sfide comuni attorno ai compiti e al ragionamento, all’integrazione degli strumenti e al monitoraggio dell’esecuzione all’interno delle implementazioni tradizionali degli LLM.

In aggiunta agli LLM, ci sarà un maggiore focus sull’addestramento di modelli linguistici più piccoli a causa della loro efficacia in termini di costo, accessibilità e facilità di distribuzione. Ad esempio, i modelli linguistici specifici del dominio si specializzano in settori o campi particolari. Questi modelli sono finemente regolati con dati e terminologia specifici del dominio, rendendoli ideali per ambienti complessi e regolamentati, come il settore medico o legale, dove la precisione è essenziale. Questo approccio mirato riduce la probabilità di errori e allucinazioni che i modelli generici potrebbero produrre quando si confrontano con contenuti specializzati.

Mentre continuiamo a esplorare nuove frontiere negli LLM, è essenziale spingere i confini dell’innovazione e affrontare e mitigare i rischi potenziali associati al loro sviluppo e alla loro distribuzione. Solo identificando e affrontando proattivamente le sfide relative ai pregiudizi, alle allucinazioni e alla riservatezza possiamo creare una base più solida per gli LLM per prosperare in vari campi.