Come i dati sintetici influenzano le allucinazioni dell’IA?

Sebbene i dati sintetici siano uno strumento potente, possono ridurre le allucinazioni dell’intelligenza artificiale solo in circostanze specifiche. In quasi tutti gli altri casi, le amplificheranno. Perché è così? Cosa significa questo fenomeno per coloro che hanno investito in esso?

Come sono diversi i dati sintetici dai dati reali?

I dati sintetici sono informazioni generate dall’IA. Invece di essere raccolte da eventi o osservazioni del mondo reale, sono prodotte artificialmente. Tuttavia, assomigliano all’originale abbastanza da produrre output precisi e rilevanti. Questo è l’idea, comunque.

Per creare un set di dati artificiali, gli ingegneri dell’IA addestrano un algoritmo generativo su un database relazionale reale. Quando richiesto, produce un secondo set che si specchia nel primo, ma contiene informazioni genuine. Mentre le tendenze generali e le proprietà matematiche rimangono intatte, c’è abbastanza rumore per mascherare le relazioni originali.

Un set di dati generato dall’IA va oltre la deidentificazione, replicando la logica sottostante delle relazioni tra campi invece di semplicemente sostituire campi con alternative equivalenti. Dal momento che non contiene dettagli identificativi, le aziende possono utilizzarlo per eludere le norme sulla privacy e sul copyright. Inoltre, possono condividerlo o distribuirlo liberamente senza timore di violazione.

Tuttavia, le informazioni false sono più comunemente utilizzate per il supplemento. Le aziende possono utilizzarle per arricchire o espandere dimensioni di campioni che sono troppo piccole, rendendole abbastanza grandi per addestrare sistemi di IA in modo efficace.

I dati sintetici riducono le allucinazioni dell’IA?

A volte, gli algoritmi fanno riferimento a eventi inesistenti o fanno suggerimenti logicamente impossibili. Queste allucinazioni sono spesso insensate, fuorvianti o scorrette. Ad esempio, un modello linguistico di grandi dimensioni potrebbe scrivere un articolo su come addomesticare leoni o diventare un medico all’età di 6 anni. Tuttavia, non sono tutte così estreme, il che può rendere difficile riconoscerle.

Se opportunamente curati, i dati artificiali possono mitigare questi incidenti. Un database di addestramento autentico e rilevante è la base per qualsiasi modello, quindi è logico che più dettagli si hanno, più preciso sarà l’output del modello. Un set di dati supplementari consente la scalabilità, anche per applicazioni di nicchia con informazioni pubbliche limitate.

La debiasing è un altro modo in cui un database sintetico può ridurre le allucinazioni dell’IA. Secondo la MIT Sloan School of Management, può aiutare ad affrontare i pregiudizi perché non è limitato alle dimensioni del campione originale. I professionisti possono utilizzare dettagli realistici per colmare le lacune in cui sottopopolazioni sono sottorappresentate o sovrarappresentate.

Come i dati artificiali peggiorano le allucinazioni

Poiché gli algoritmi intelligenti non possono ragionare o contestualizzare le informazioni, sono propensi alle allucinazioni. I modelli generativi — in particolare i modelli linguistici di grandi dimensioni pre-addestrati — sono particolarmente vulnerabili. In alcuni modi, i fatti artificiali aggravano il problema.

Amplificazione dei pregiudizi

Come gli esseri umani, l’IA può apprendere e riprodurre pregiudizi. Se un database artificiale sovrastima alcuni gruppi mentre sottostima altri — il che è facilmente fatto accidentalmente — la sua logica decisionale sarà distorta, influenzando negativamente la precisione dell’output.

Un problema simile può sorgere quando le aziende utilizzano dati falsi per eliminare pregiudizi del mondo reale, poiché potrebbe non riflettere più la realtà. Ad esempio, poiché oltre il 99% dei casi di cancro al seno si verificano nelle donne, utilizzare informazioni supplementari per bilanciare la rappresentanza potrebbe distorcere le diagnosi.

Allucinazioni intersezionali

L’intersezionalità è un quadro sociologico che descrive come le demografie come età, genere, razza, occupazione e classe si intersecano. Analizza come le identità sociali sovrapposte dei gruppi risultano in combinazioni uniche di discriminazione e privilegio.

Quando un modello generativo viene chiesto di produrre dettagli artificiali in base a ciò su cui è stato addestrato, potrebbe generare combinazioni che non esistevano nell’originale o sono logicamente impossibili.

Ericka Johnson, professoressa di genere e società all’Università di Linköping, ha lavorato con uno scienziato di apprendimento automatico per dimostrare questo fenomeno. Hanno utilizzato una rete generativa avversaria per creare versioni sintetiche dei dati del censimento degli Stati Uniti del 1990.

Subito dopo, hanno notato un problema lampante. La versione artificiale aveva categorie intitolate “moglie e single” e “mariti mai sposati”, entrambe delle quali erano allucinazioni intersezionali.

Senza una cura appropriata, il database di replica sarà sempre sovrarappresentato per sottopopolazioni dominanti nei set di dati, mentre sottostimerà — o escluderà — gruppi sottorappresentati. I casi limite e gli outlier potrebbero essere ignorati completamente a favore di tendenze dominanti.

Crollo del modello

Un’eccessiva dipendenza da modelli e tendenze artificiali porta al crollo del modello — dove le prestazioni di un algoritmo peggiorano drasticamente man mano che diventa meno adattabile a osservazioni e eventi del mondo reale.

Questo fenomeno è particolarmente evidente nell’IA generativa di prossima generazione. L’uso ripetuto di una versione artificiale per addestrarli si traduce in un ciclo auto-consumante. Uno studio ha scoperto che la loro qualità e richiamo declinano progressivamente senza abbastanza cifre recenti e reali in ogni generazione.

Overfitting

Overfitting è una dipendenza eccessiva dai dati di addestramento. L’algoritmo si esegue bene inizialmente, ma allucinerà quando presentato con nuovi punti di dati. Le informazioni sintetiche possono aggravare questo problema se non riflettono accuratamente la realtà.

Le implicazioni dell’uso continuato dei dati sintetici

Il mercato dei dati sintetici è in piena espansione. Le aziende di questo settore hanno raccolto circa 328 milioni di dollari nel 2022, rispetto ai 53 milioni di dollari del 2020 — un aumento del 518% in soli 18 mesi. È importante notare che si tratta solo di finanziamenti pubblicamente noti, il che significa che la cifra reale potrebbe essere anche più alta. È sicuro dire che le aziende sono incredibilmente investite in questa soluzione.

Se le aziende continuano a utilizzare un database artificiale senza una cura e debiasing adeguate, le prestazioni del loro modello declineranno progressivamente, guastando i loro investimenti in IA. I risultati potrebbero essere più gravi, a seconda dell’applicazione. Ad esempio, nel settore sanitario, un aumento di allucinazioni potrebbe portare a diagnosi errate o piani di trattamento inadeguati, portando a esiti peggiore per i pazienti.

La soluzione non comporterà il ritorno ai dati reali

I sistemi di IA necessitano di milioni, se non miliardi, di immagini, testi e video per l’addestramento, gran parte dei quali viene raccolta da siti web pubblici e compilata in enormi set di dati aperti. Purtroppo, gli algoritmi consumano queste informazioni più velocemente di quanto gli esseri umani possano generarle. Cosa succede quando imparano tutto?

I leader aziendali sono preoccupati per il raggiungimento del muro dei dati — il punto in cui tutte le informazioni pubbliche su Internet sono state esaurite. Potrebbe avvicinarsi più velocemente di quanto pensino.

Anche se la quantità di testo semplice nella pagina web di crawl comune e il numero di utenti di Internet stanno crescendo del 2% al 4% all’anno, gli algoritmi stanno finendo le informazioni di alta qualità. Solo il 10% al 40% può essere utilizzato per l’addestramento senza compromettere le prestazioni. Se le tendenze continuano, le scorte di informazioni pubbliche generate dagli esseri umani potrebbero esaurirsi entro il 2026.

Probabilmente, il settore dell’IA raggiungerà il muro dei dati anche prima. L’esplosione dell’IA generativa degli ultimi anni ha aumentato le tensioni sulla proprietà delle informazioni e sulla violazione del copyright. Più proprietari di siti web stanno utilizzando il protocollo di esclusione dei robot — uno standard che utilizza un file robots.txt per bloccare i crawler web — o rendendo chiaro che il loro sito è off-limits.

Uno studio del 2024 pubblicato da un gruppo di ricerca guidato dal MIT ha rivelato che le restrizioni del set di dati Colossal Cleaned Common Crawl (C4) — un corpus di crawl web su larga scala — stanno aumentando. Oltre il 28% delle fonti più attive e critiche in C4 erano completamente restrittive. Inoltre, il 45% di C4 è ora designato come off-limits dalle condizioni di servizio.

Se le aziende rispettano queste restrizioni, la freschezza, la rilevanza e l’accuratezza dei fatti del mondo reale declineranno, costringendole a fare affidamento su database artificiali. Potrebbero non avere molta scelta se i tribunali stabiliscono che qualsiasi alternativa costituisce una violazione del copyright.

Il futuro dei dati sintetici e delle allucinazioni dell’IA

Mentre le leggi sul copyright si modernizzano e più proprietari di siti web nascondono il loro contenuto dai crawler web, la generazione di set di dati artificiali diventerà sempre più popolare. Le organizzazioni devono prepararsi ad affrontare la minaccia delle allucinazioni.