Il linguaggio generato da AI inizia a inquinare la letteratura scientifica

I ricercatori di Francia e Russia hanno pubblicato uno studio che indica che l’utilizzo di generatori di testo probabilistici basati su AI come GPT-3 sta introducendo un linguaggio “torturato”, citazioni di letteratura inesistente e riutilizzo di immagini senza credito in canali precedentemente rispettabili per la pubblicazione di nuova letteratura scientifica.

Forse la preoccupazione maggiore è che gli articoli studiati contengano anche contenuti scientificamente inesatti o non riproducibili presentati come frutti di ricerca oggettiva e sistematica, indicando che i modelli di linguaggio generativo stanno essere utilizzati non solo per migliorare le limitate abilità linguistiche degli autori degli articoli, ma anche per svolgere il lavoro difficile (e, invariabilmente, per farlo male).

Il rapporto, intitolato Fraseologie tormentate: uno stile di scrittura dubbia che emerge nella scienza, è stato compilato da ricercatori del Dipartimento di Informatica dell’Università di Tolosa e dal ricercatore di Yandex Alexander Magazinov, attualmente all’Università di Tel Aviv.

Lo studio si concentra in particolare sulla crescita di pubblicazioni scientifiche nonsensiche generate da AI sulla rivista Elsevier Microprocessors and Microsystems.

Con qualsiasi altro nome

I modelli di linguaggio autoregressivi come GPT-3 sono addestrati su grandi volumi di dati e sono progettati per parafrasare, riassumere, raccogliere e interpretare quei dati in modelli di linguaggio generativo coesi che possono riprodurre pattern di linguaggio e scrittura naturali, mantenendo l’intenzione originale dei dati di addestramento.

Poiché tali framework sono frequentemente puniti durante l’addestramento del modello per offrire una ripetizione diretta e “non assorbita” dei dati originali, inevitabilmente cercano sinonimi – anche per frasi ben stabilite.

Le sottomissioni scientifiche apparentemente create/aiutate da AI scoperte dai ricercatori includono un numero straordinario di tentativi falliti di sinonimi creativi per frasi note nel settore del machine learning:

rete neurale profonda: ‘organizzazione neurale profonda’
rete neurale artificiale: ‘organizzazione neurale (falsa | contraffatta)’
rete mobile: ‘organizzazione versatile’
attacco di rete: ‘organizzazione (agguato | assalto)’
connessione di rete: ‘associazione di organizzazione’
big data: ‘informazione (enorme | grande | immensa | colossale)’
magazzino di dati: ‘informazione (magazzino | centro di distribuzione)’
intelligenza artificiale (AI): ‘coscienza (falsa | creata dall’uomo)’
calcolo ad alte prestazioni: ‘calcolo di élite’
calcolo su nebbia/nube: ‘calcolo nella nebbia’
unità di elaborazione grafica (GPU): ‘unità di preparazione del design’
unità di elaborazione centrale (CPU): ‘unità di preparazione focale’
motore di flusso di lavoro: ‘motore di processo di lavoro’
riconoscimento facciale: ‘riconoscimento facciale’
riconoscimento vocale: ‘riconoscimento del discorso’
errore quadratico medio: ‘errore quadratico medio (errore | sbaglio)’
errore assoluto medio: ‘errore assoluto medio (errore | sbaglio)’
rapporto segnale/rumore: ‘rapporto (movimento | segnale | indicatore) / rumore’
parametri globali: ‘parametri mondiali’
accesso casuale: ‘accesso (arbitrario | irregolare)’
foresta casuale: ‘foresta (arbitraria | irregolare)’
valore casuale: ‘valore (arbitrario | irregolare)’
colonia di formiche: ‘stato di insetti sotterranei (stato | provincia | area | regione | insediamento)’
colonia di formiche: ‘stato di insetti sotterranei (stato | provincia | area | regione | insediamento)’
energia residua: ‘vitalità residua’
energia cinetica: ‘vitalità del motore’
Bayes ingenuo: ‘Bayes (credulo | innocente | ingenuo)’
assistente digitale personale (PDA): ‘collaboratore computerizzato individuale’

Nel maggio 2021 i ricercatori hanno interrogato il motore di ricerca accademico Dimensions alla ricerca di questo tipo di linguaggio automatizzato e distorto, prendendosi cura di escludere frasi legittime come “informazione enorme” (che è una frase valida e non un sinonimo fallito per “big data”). A questo punto hanno osservato che Microprocessors and Microsystems aveva il numero più alto di occorrenze di parafrasi mal gestite.

Al momento attuale, è ancora possibile recuperare (istantanea dell’archivio, 15/07/2021) un certo numero di articoli scientifici per la frase senza senso “organizzazione neurale profonda” (cioè “rete neurale profonda”), e altri nella lista sopra producono risultati simili.

Risultati di ricerca per ‘organizzazione neurale profonda’ (‘rete neurale profonda’) su Dimensions. Fonte: https://app.dimensions.ai/

La rivista Microprocessors è stata fondata nel 1976 e ribattezzata Microprocessors and Microsystems due anni dopo.

Crescita del linguaggio insensato

I ricercatori hanno studiato un periodo che copre febbraio 2018 e giugno 2021 e hanno osservato un aumento vertiginoso del volume di sottomissioni negli ultimi due anni, e in particolare negli ultimi 6-8 mesi:

Correlazione o causalità? L’aumento delle sottomissioni alla rivista Microprocessors and Microsystems sembra coincidere con la crescita di ‘testo insensato’ e sinonimi in sottomissioni apparentemente rispettabili. Fonte: https://arxiv.org/pdf/2107.06751.pdf

Il dataset finale raccolto dai collaboratori contiene 1.078 articoli completi ottenuti tramite l’abbonamento Elsevier dell’Università di Tolosa.

Diminuzione della supervisione editoriale per gli articoli scientifici cinesi

Il rapporto osserva che il tempo concesso per la valutazione editoriale delle sottomissioni segnalate è radicalmente ridotto nel 2021, scendendo a meno di 40 giorni; una riduzione di sei volte del tempo standard per la revisione paritetica, evidente da febbraio 2021.

Il maggior numero di articoli segnalati proviene da autori con affiliazioni alla Cina continentale: su 404 articoli accettati in meno di 30 giorni, il 97,5% sono relativi alla Cina. Al contrario, nei casi in cui il processo editoriale ha superato i 40 giorni (615 articoli), le sottomissioni affiliate alla Cina rappresentavano solo il 9,5% di quella categoria – un disequilibrio di dieci volte.

Il rapporto attribuisce l’infiltrazione degli articoli segnalati a carenze nel processo editoriale e a una possibile mancanza di risorse di fronte a un numero crescente di sottomissioni.

I ricercatori ipotizzano che modelli di linguaggio generativo come GPT-3 e altri tipi di framework di generazione di linguaggio siano stati utilizzati per produrre gran parte del testo negli articoli segnalati; tuttavia, il modo in cui un modello generativo astrae le sue fonti rende difficile provarlo, e la principale prova risiede in una valutazione comune del linguaggio povero e non necessario e in un esame meticoloso della coerenza logica della sottomissione.

I ricercatori osservano inoltre che i modelli di linguaggio generativo che ritengono contribuire a questo flusso di nonsenso sono in grado non solo di creare testi problematici, ma anche di riconoscerli e segnalarli sistematicamente, allo stesso modo in cui i ricercatori stessi hanno fatto manualmente. Il lavoro descrive un tale implementazione, utilizzando GPT-2, e offre un framework per futuri sistemi di identificazione di sottomissioni scientifiche problematiche.

L’incidenza di sottomissioni “inquinate” è molto più alta sulla rivista Elsevier (72,1%) rispetto ad altre riviste studiate (13,6% al massimo).

Non solo semantica

I ricercatori enfatizzano che molte delle riviste in questione non stanno utilizzando solo un linguaggio errato, ma contengono anche affermazioni scientifiche inesatte, indicando la possibilità che i modelli di linguaggio generativo non stiano solo migliorando le limitate abilità linguistiche degli scienziati che contribuiscono, ma possano anche essere utilizzati per formulare almeno alcune delle teorie e dei dati centrali nell’articolo.

In altri casi i ricercatori ipotizzano una “ri-sintesi” o “ri-scrittura” di lavoro precedente astratto (e superiore) per soddisfare le pressioni della cultura di ricerca accademica “pubblica o perisci” e forse per migliorare le classifiche nazionali per la preminenza globale nella ricerca sull’AI, attraverso il volume puro.

Contenuto insensato in un articolo sottomesso. In questo caso, i ricercatori hanno scoperto che il testo è stato derivato, ad hoc, da un articolo EDN, da cui è stata anche rubata l’illustrazione senza attribuzione. La riscrittura del contenuto originale è così estrema da renderlo privo di senso.

Analizzando diversi articoli sottomessi alla rivista Elsevier, i ricercatori hanno trovato frasi per le quali non sono riusciti a inferire alcun significato; riferimenti a letteratura inesistente; riferimenti a variabili e teoremi in formule che non appaiono effettivamente nel materiale di supporto (suggerendo un’astrazione basata sul linguaggio o “allucinazione” di dati apparentemente fattuali); e riutilizzo di immagini senza alcun riconoscimento delle loro fonti (che i ricercatori criticano non dal punto di vista del copyright, ma piuttosto come indicatore di insufficiente rigore scientifico).

Insufficienze di citazione

Le citazioni destinate a sostenere gli argomenti in un articolo scientifico sono state trovate in molti degli esempi segnalati come “rotte o che portano a pubblicazioni non correlate”.

Inoltre, i riferimenti al “lavoro correlato” includono spesso autori che i ricercatori ritengono siano stati “allucinati” da un sistema GPT-style.

Attenzione vagante

Un’altra carenza anche dei modelli di linguaggio più avanzati come GPT-3 è la tendenza a perdere il focus su un lungo discorso. I ricercatori hanno trovato che gli articoli segnalati spesso introducono un argomento all’inizio dell’articolo che non viene più ripreso dopo essere stato menzionato nelle note preliminari o altrove.

Ipotizzano anche che alcuni dei peggiori esempi si verificano attraverso molteplici percorsi di testo sorgente attraverso una serie di motori di traduzione, ognuno dei quali distorce ulteriormente il significato.

Fonti e motivi

Nel tentativo di capire cosa si nasconde dietro questo fenomeno, gli autori del rapporto suggeriscono una serie di possibilità: che il contenuto dei “mulini di carta” stia essere utilizzato come materiale di partenza, introducendo inesattezze molto presto in un processo che produrrà inevitabilmente ulteriori inesattezze; che strumenti di spinning di articoli come Spinbot stiano essere utilizzati per mascherare il plagio; e che la pressione schiacciante per pubblicare regolarmente stia portando ricercatori sottodotati a utilizzare sistemi GPT-3-style per aumentare o generare interamente nuovi articoli accademici.

I ricercatori concludono con un appello all’azione per una maggiore supervisione e standard migliorati in un’area di pubblicazione accademica che sembra diventare, apparentemente, materiale per il suo stesso argomento – i sistemi di apprendimento automatico. Essi anche esortano Elsevier e altri editori a introdurre procedure di selezione e revisione più rigorose e criticano ampiamente gli standard e le pratiche attuali in questo senso, suggerendo che ‘L’inganno con testi sintetici minaccia l’integrità della letteratura scientifica.’