DeepMind: l’IA potrebbe ereditare le limitazioni cognitive umane, potrebbe beneficiare di un’ “istruzione formale”

Una nuova collaborazione tra DeepMind e l’Università di Stanford suggerisce che l’IA potrebbe spesso non essere migliore dell’uomo nel ragionamento astratto, perché i modelli di apprendimento automatico ottengono le loro architetture di ragionamento da esempi del mondo reale, basati su un contesto pratico (che l’IA non può sperimentare), ma sono anche ostacolati dalle nostre stesse carenze cognitive.

Se dimostrato, ciò potrebbe rappresentare una barriera al superiore “pensiero aereo” e alla qualità di origine intellettuale che molti sperano di ottenere dai sistemi di apprendimento automatico, e illustra la misura in cui l’IA riflette l’esperienza umana e è propensa a riflettere (e ragionare) all’interno dei confini umani che l’hanno informato.

I ricercatori suggeriscono che i modelli di IA potrebbero beneficiare di un addestramento pre-istruzione nel ragionamento astratto, paragonandolo a un’ “istruzione formale”, prima di essere impiegati in compiti del mondo reale.

Il documento afferma:

‘Gli esseri umani sono ragionatori imperfetti. Ragioniamo più efficacemente su entità e situazioni che sono coerenti con la nostra comprensione del mondo.

‘I nostri esperimenti mostrano che i modelli linguistici riflettono questi modelli di comportamento. I modelli linguistici si eseguono in modo imperfetto sui compiti di ragionamento logico, ma questa prestazione dipende dal contenuto e dal contesto. Più notevolmente, tali modelli spesso falliscono in situazioni in cui gli esseri umani falliscono — quando gli stimoli diventano troppo astratti o confliggono con la nostra comprensione precedente del mondo.’

Per testare la misura in cui i modelli di NLP iperscala potrebbero essere influenzati da tali limitazioni, i ricercatori hanno eseguito una serie di tre test su un modello adatto, concludendo*:

‘Trova che i modelli di linguaggio di grandi dimensioni (con 7 o 70 miliardi di parametri) riflettono molti degli stessi modelli osservati negli esseri umani in questi compiti — come gli esseri umani, i modelli ragionano più efficacemente su situazioni credibili che su quelle irrealistiche o astratte.

‘I nostri risultati hanno implicazioni per la comprensione di questi effetti cognitivi e dei fattori che contribuiscono alle prestazioni del modello di linguaggio.’

Il documento suggerisce che la creazione di abilità di ragionamento in un’IA senza darle il beneficio dell’esperienza del mondo reale che mette tali abilità in contesto, potrebbe limitare il potenziale di tali sistemi, osservando che ‘l’esperienza basata…presumibilmente sostiene alcune credenze e ragionamenti umani’.

I autori ipotizzano che l’IA sperimenta il linguaggio in modo passivo, mentre gli esseri umani lo sperimentano come un componente attivo e centrale per la comunicazione sociale, e che questo tipo di partecipazione attiva (che comporta sistemi sociali di punizione e ricompensa) potrebbe essere ‘chiave’ per comprendere il significato nello stesso modo in cui fanno gli esseri umani.

I ricercatori osservano:

‘Alcune differenze tra i modelli linguistici e gli esseri umani possono quindi derivare dalle differenze tra l’esperienza ricca, basata, interattiva degli esseri umani e l’esperienza impoverita dei modelli.’

Suggeriscono che una possibile soluzione potrebbe essere un periodo di ‘pre-istruzione’, simile a quello che gli esseri umani sperimentano nel sistema scolastico e universitario, prima di essere addestrati sui dati che alla fine costruiranno un modello linguistico utile e versatile.

Questo periodo di ‘istruzione formale’ (come analogizzano i ricercatori) differirebbe dall’addestramento pre-istruzione convenzionale (che è un metodo per ridurre il tempo di addestramento riutilizzando modelli semi-addestrati o importando pesi da modelli completamente addestrati, come un ‘booster’ per avviare il processo di addestramento).

Piuttosto, rappresenterebbe un periodo di apprendimento sostenuto progettato per sviluppare le abilità di ragionamento logico dell’IA in modo puramente astratto, e per sviluppare facoltà critiche in modo simile a quello di uno studente universitario che sarà incoraggiato a fare nel corso della sua formazione.

‘Diversi risultati,’ affermano gli autori, ‘indicano che ciò non potrebbe essere così lontano da suonare.’

Il documento è intitolato I modelli linguistici mostrano effetti di contenuto umani sul ragionamento, e proviene da sei ricercatori di DeepMind e uno affiliato a DeepMind e all’Università di Stanford.

Test

Gli esseri umani imparano concetti astratti attraverso esempi pratici, con lo stesso metodo di ‘importanza implicita’ che spesso aiuta gli apprendenti di lingue a memorizzare vocabolario e regole linguistiche, tramite mnemoniche. L’esempio più semplice di ciò è l’insegnamento di principi astrusi della fisica attraverso scenari di viaggio per treni e auto.

Per testare le capacità di ragionamento astratto di un modello linguistico iperscala, i ricercatori hanno ideato una serie di tre test linguistici/semantici che possono essere impegnativi anche per gli esseri umani. I test sono stati applicati ‘zero shot’ (senza esempi risolti) e ‘five shot’ (con cinque esempi risolti precedenti).

Il primo compito riguarda l’inferenza linguistica naturale (NLI), dove il soggetto (un essere umano o, in questo caso, un modello linguistico) riceve due frasi, una ‘premessa’ e un ‘ipotesi’ che appare dedotta dalla premessa. Ad esempio X è più piccolo di Y, Ipotesi: Y è più grande di X (implicato).

Per il compito di inferenza linguistica naturale, i ricercatori hanno valutato i modelli linguistici Chinchilla (un modello da 70 miliardi di parametri) e 7B (un modello da 7 miliardi di parametri), trovando che per gli esempi coerenti (cioè quelli che non erano assurdità), solo il modello Chinchilla più grande ha ottenuto risultati superiori al caso; e notano:

‘Ciò indica una forte distorsione del contenuto: i modelli preferiscono completare la frase in modo coerente con le aspettative precedenti piuttosto che in modo coerente con le regole della logica’.

Prestazioni di Chinchilla nel compito di inferenza linguistica naturale. Sia questo modello che la sua versione più sottile 7B hanno esibito una ‘sostanziale distorsione della credenza’, secondo i ricercatori. Fonte: https://arxiv.org/pdf/2207.07051.pdf

Sillogismi

Il secondo compito presenta una sfida più complessa, i sillogismi – argomenti in cui due affermazioni vere apparentemente implicano una terza affermazione (che può o non può essere una conclusione logica dedotta dalle due precedenti affermazioni):

Da materiale di test del documento, vari sillogismi ‘realistici’ e paradossali o assurdi.

Gli esseri umani sono immensamente fallibili, e una costruzione progettata per esemplificare un principio logico diventa quasi immediatamente (e forse permanentemente) intrecciata e confusa dalla ‘credenza’ umana su cosa dovrebbe essere la risposta giusta.

Gli autori notano che uno studio del 1983 ha dimostrato che i partecipanti erano distorti dal fatto che la conclusione di un sillogismo era coerente con le loro credenze, osservando:

‘I partecipanti erano molto più propensi (il 90% delle volte) a dire che un sillogismo invalido era valido se la conclusione era credibile, e quindi si basavano principalmente sulla credenza piuttosto che sul ragionamento astratto.’

Nel testare Chinchilla contro una serie di sillogismi diversi, molti dei quali concludevano con implicazioni false, i ricercatori hanno trovato che ‘la distorsione della credenza guida quasi tutte le decisioni a zero shot’. Se il modello linguistico trova una conclusione incoerente con la realtà, il modello, affermano gli autori, è ‘fortemente distorto’ verso la dichiarazione di invalidità dell’argomento finale, anche quando l’argomento finale è una implicazione logica delle affermazioni precedenti.

Risultati a zero shot per Chinchilla (a zero shot è il modo in cui la maggior parte dei soggetti di test riceverebbe queste sfide, dopo una spiegazione della regola guida), illustrando l’enorme divario tra la capacità computazionale di un computer e la capacità di un modello NLP di navigare questo tipo di sfida logica nascente.

Il compito di selezione di Wason

Per il terzo test, il compito di selezione di Wason, una sfida logica ancora più impegnativa, è stato riformulato in una serie di iterazioni diverse per il modello linguistico da risolvere.

Il compito di Wason, ideato nel 1968, è apparentemente molto semplice: ai partecipanti vengono mostrate quattro carte e viene detto una regola arbitraria come ‘Se una carta ha un “D” su un lato, allora ha un “3” sull’altro lato.’ Le quattro facce delle carte visibili mostrano ‘D’, ‘F’, ‘3’ e ‘7’.

I soggetti sono quindi chiesti di quali carte hanno bisogno di girare per verificare se la regola è vera o falsa.

La soluzione corretta in questo esempio è girare le carte ‘D’ e ‘7’. Nei test iniziali, è stato trovato che mentre la maggior parte dei soggetti (umani) avrebbe scelto correttamente ‘D’, erano più propensi a scegliere ‘3’ piuttosto che ‘7’, confondendo il contrapositivo della regola (‘non 3 implica non D’) con il converso (‘3’ implica ‘D’, che non è logicamente implicato).

Gli autori notano che la possibilità che le credenze precedenti interferiscano con il processo logico nei soggetti umani e notano inoltre che anche i matematici accademici e gli studenti di matematica in generale hanno ottenuto punteggi inferiori al 50% in questo compito.

Tuttavia, quando lo schema di un compito di Wason in qualche modo riflette l’esperienza pratica umana, le prestazioni tradizionalmente aumentano di conseguenza.

Gli autori osservano, facendo riferimento a esperimenti precedenti:

‘[Se] le carte mostrano età e bevande, e la regola è “se stanno bevendo alcol, allora devono avere 21 anni o più” e vengono mostrate carte con ‘birra’, ‘soda’, ‘25’, ‘16’, la grande maggioranza dei partecipanti sceglie correttamente di controllare le carte che mostrano ‘birra’ e ‘16’.’

Per testare le prestazioni del modello linguistico nel compito di Wason, i ricercatori hanno creato regole realistiche e arbitrarie diverse, alcune con parole ‘assurde’, per vedere se l’IA potesse penetrare il contesto del contenuto per capire quali ‘carte virtuali’ girare.

Alcuni dei molti puzzle del compito di selezione di Wason presentati nei test.

Per i test di Wason, il modello ha eseguito in modo comparabile con gli esseri umani sui compiti ‘realistici’ (non assurdi).

Risultati del compito di selezione di Wason a zero shot per Chinchilla, con il modello che esegue molto meglio del caso, almeno per le regole ‘realistiche’.

Il documento commenta:

‘Ciò riflette i risultati nella letteratura umana: gli esseri umani sono molto più precisi nel rispondere al compito di Wason quando è formulato in termini di situazioni realistiche piuttosto che regole arbitrarie su attributi astratti.’

Istruzione formale

I risultati del documento inquadrano il potenziale di ragionamento dei sistemi NLP iperscala nel contesto delle nostre stesse limitazioni, che sembriamo trasmettere ai modelli attraverso i set di dati del mondo reale che li alimentano. Dal momento che la maggior parte di noi non è geniale, neanche i modelli il cui parametri sono informati dalle nostre stesse limitazioni.

Inoltre, il nuovo lavoro conclude, abbiamo almeno il vantaggio di un periodo sostenuto di formazione, e le motivazioni sociali, finanziarie e persino sessuali aggiuntive che formano l’imperativo umano. Tutto ciò che i modelli NLP possono ottenere sono le azioni risultanti da questi fattori ambientali, e sembrano conformarsi al generale piuttosto che all’eccezionale essere umano.

Gli autori affermano:

‘I nostri risultati mostrano che gli effetti di contenuto possono emergere semplicemente addestrando un grande trasformatore per imitare il linguaggio prodotto dalla cultura umana, senza incorporare questi meccanismi interni specifici dell’uomo.

‘In altre parole, i modelli linguistici e gli esseri umani arrivano a questi pregiudizi di contenuto – ma da architetture, esperienze e obiettivi di addestramento molto diversi.’

Quindi suggeriscono un tipo di ‘addestramento induttivo’ nel puro ragionamento, che è stato dimostrato migliorare le prestazioni del modello per la matematica e il ragionamento generale. Notano inoltre che i modelli linguistici sono stati addestrati o regolati per seguire le istruzioni meglio a un livello astratto o generalizzato, e per verificare, correggere o de-biasare la loro stessa uscita.

* La mia conversione delle citazioni in linea in collegamenti ipertestuali.

Pubblicato per la prima volta il 15 luglio 2022.