Limbajul generat de inteligența artificială începe să polueze literatura științifică

Cercetători din Franța și Rusia au publicat un studiu care indică faptul că utilizarea generatorilor de text probabilistici bazati pe inteligență artificială, cum ar fi GPT-3, introduce “limbaj torturat”, citări de literatură inexistente și reutilizarea neacreditată a imaginilor în canalele de publicare a noii literaturi științifice.

Probabil cel mai îngrijorător este faptul că articolele studiate conțin, de asemenea, conținut științific inexact sau neraproductibil, prezentat ca fiind rezultatul unor cercetări obiective și sistematice, ceea ce indică faptul că modelele de limbaj generative sunt utilizate nu numai pentru a îmbunătăți abilitățile lingvistice limitate ale autorilor, ci și pentru a face munca grea implicată (și, în mod inevitabil, pentru a o face prost).

Raportul, intitulat Expresii torturate: Un stil de scriere dubios care apare în știință, a fost compilat de cercetători de la Departamentul de Științe ale Calculatoarelor de la Universitatea din Toulouse și de cercetătorul Yandex Alexander Magazinov, în prezent la Universitatea din Tel Aviv.

Studiul se axează în special pe creșterea publicațiilor științifice generate de inteligență artificială la revista Elsevier Microprocesoare și Microsisteme.

Sub un alt nume

Modelele de limbaj autoregresive, cum ar fi GPT-3, sunt antrenate pe volume mari de date și sunt proiectate pentru a parafraza, rezuma, combina și interpreta datele contributive în modele de limbaj generative coezive care pot reproduce patternurile de vorbire și scriere naturală, păstrând intenția originală a datelor de antrenare.

Deoarece astfel de cadre sunt frecvent pedepsite în stadiul de antrenare al modelului pentru oferirea de regurgitare directă și “neabsorbită” a datelor originale, ele inevitabil caută sinonime – chiar și pentru fraze bine stabilite.

Depozitele științifice aparent create/ajutate de inteligență artificială descoperite de cercetători includ un număr extraordinar de încercări eșuate de a găsi sinonime creative pentru fraze cunoscute în sectorul inteligenței artificiale:

rețea neurală profundă: organizație neurală profundă
rețea neurală artificială: organizație neurală (falsă | contrafăcută)
rețea mobilă: organizație versatilă
atac de rețea: organizație (ambuscadă | asalt)
conexiune de rețea: asociație de organizație
date mari: informații (enorme | uriașe | imense | colosale)
depozit de date: informații (depozit | centru de distribuție)
inteligență artificială (IA): conștientizare (falsă | creată de om)
calcul de înaltă performanță: figurare de elită
calcul în nori/mist/ceță: figurare în ceață
unitate de procesare grafică (GPU): unitate de pregătire a proiectelor
unitate centrală de procesare (CPU): unitate de pregătire focală
motor de flux de lucru: motor de proces de lucru
recunoaștere facială: recunoaștere facială
recunoaștere vocală: recunoaștere a discursului
eroare medie pătratică: eroare medie pătratică (greșeală | gafă)
eroare medie absolută: eroare medie (absolută | supremă) (greșeală | gafă)
semnal/zgomot: semnal (mișcare | steag | indicator | semn | semnal) la (zgomot | agitație)
parametri globali: parametri mondiali
acces aleator: acces (aleator | neregulat) la
pădure aleatoare: pădure (aleatoare | neregulată)
valoare aleatoare: valoare (aleatoare | neregulată)
colonie de furnici: insecte subterane (stat | provincie | zonă | regiune | așezare)
colonie de furnici: insecte subterane (stat | provincie | zonă | regiune | așezare)
energie rămasă: energie rămasă
energie cinetică: energie de mișcare
Bayes naiv: Bayes (credul | inocent | naiv)
asistent digital personal (PDA): asistent computerizat individual

În mai 2021, cercetătorii au consultat motorul de căutare academic Dimensions în căutarea acestui tip de limbaj automatizat, distorsionat, luând precauții pentru a exclude fraze legitime, cum ar fi “informații enorme” (care este o frază valabilă și nu o sinonimă eșuată pentru “date mari”). La acest moment, ei au observat că Microprocesoare și Microsisteme aveau cel mai mare număr de apariții ale parafrazării defectuoase.

În prezent, este încă posibil să se recupereze (o imagine arhivată, 15/07/2021) un număr de articole științifice pentru fraza absurdă “organizație neurală profundă” (adică “rețea neurală profundă”), iar altele din lista de mai sus oferă rezultate similare.

Rezultate de căutare pentru ‘organizație neurală profundă’ (‘rețea neurală profundă’) la Dimensions. Sursă: https://app.dimensions.ai/

Revista Microprocesoare a fost fondată în 1976 și redenumită Microprocesoare și Microsisteme doi ani mai târziu.

O creștere a limbajului absurd

Cercetătorii au studiat o perioadă cuprinsă între februarie 2018 și iunie 2021 și au observat o creștere accentuată a volumului de depuneri în ultimii doi ani, și în special în ultimele 6-8 luni:

Corelație sau cauzalitate? Creșterea depunerilor în revista Microprocesoare și Microsisteme pare să coincidă cu creșterea ‘textului absurd’ și a sinonimelor în depunerile aparent respectabile. Sursă: https://arxiv.org/pdf/2107.06751.pdf

Setul final de date colectate de colaboratori conține 1.078 de articole complete obținute prin abonamentul Elsevier al Universității din Toulouse.

Diminuarea supravegherii editoriale pentru articolele științifice chineze

Articolul observă că perioada de timp alocată pentru evaluarea editorială a depunerilor marcate devine radical scurtată în 2021, scăzând sub 40 de zile; o scădere de șase ori a timpului standard pentru peer review, evidentă din februarie 2021.

Cel mai mare număr de articole marcate provine de la autori cu afiliere la China continentală: din 404 articole acceptate în mai puțin de 30 de zile, 97,5% sunt legate de China. Invers, în cazurile în care procesul editorial a depășit 40 de zile (615 articole), articolele afiliate la China au reprezentat doar 9,5% din acea categorie – un dezechilibru de zece ori.

Raportul atribuie infiltrarea articolelor marcate unor deficiențe în procesul editorial și unei lipse posibile de resurse în fața unui număr tot mai mare de depuneri.

Cercetătorii ipotezează că modelele de limbaj generative de tip GPT au fost utilizate pentru a produce o parte semnificativă a textului din articolele marcate; cu toate acestea, modul în care un model generativ abstractizează sursele sale face dificilă demonstrarea acestui fapt, iar principala dovadă constă într-o evaluare în sensul bun a sinonimelor inutile și a unei examinări meticuloase a coerenței logice a depunerii.

Cercetătorii observă, de asemenea, că modelele de limbaj generative pe care le cred a fi contribuit la această inundație de nonsens sunt capabile nu numai să creeze textele problematice, ci și să le recunoască și să le marcheze sistematic, în același mod în care cercetătorii înșiși au făcut-o manual. Lucrarea detaliază o astfel de implementare, utilizând GPT-2, și oferă un cadru pentru sistemele viitoare care să identifice depunerile științifice problematice.

Incidența depunerilor “poluate” este mult mai mare în revista Elsevier (72,1%) în comparație cu alte reviste studiate (13,6% maximum).

Nu doar semantică

Cercetătorii subliniază că multe dintre revistele în cauză nu utilizează doar un limbaj incorect, ci conțin, de asemenea, afirmații științifice inexacte, ceea ce indică faptul că modelele de limbaj generative nu sunt utilizate doar pentru a îmbunătăți abilitățile lingvistice limitate ale oamenilor de știință, ci pot fi utilizate, de asemenea, pentru a formula cel puțin unele dintre tezele și datele de bază ale articolului.

În alte cazuri, cercetătorii ipotezează o “resinteză” sau “rotire” a lucrărilor anterioare abstracte, în scopul de a face față presiunilor culturilor de cercetare academică “publică sau pieri” și, posibil, pentru a îmbunătăți clasamentele naționale pentru preeminență globală în cercetarea inteligenței artificiale, prin volumul pur.

Conținut absurd într-un articol depus. În acest caz, cercetătorii au constatat că textul a fost derivat, ad-hoc, dintr-un articol EDN, de unde ilustrația însoțitoare este, de asemenea, preluată fără atribuire. Re-scrierea conținutului original este atât de extremă încât îl face lipsit de sens.

Analizând mai multe articole depuse în revista Elsevier, cercetătorii au găsit propoziții pentru care nu au putut infera niciun sens; referințe la literatură inexistente; referințe la variabile și teoreme în formule care nu apăreau, de fapt, în materialul de susținere (ceea ce sugerează o abstractizare bazată pe limbaj sau “halucinație” a datelor aparent factuale); și reutilizarea imaginilor fără nicio recunoaștere a surselor (pe care cercetătorii o critică nu din punct de vedere al drepturilor de autor, ci mai degrabă ca indicator al lipsei de rigurozitate științifică).

Eșecuri de citare

Citațiile destinate să susțină argumentele dintr-un articol științific au fost găsite, în multe dintre exemplele marcate, a fi “sau defecte, sau ducând la publicații nelegate de subiect”.

De asemenea, referințele la “lucrări conexe” par adesea să includă autori care, în opinia cercetătorilor, au fost “halucinați” de un sistem de tip GPT.

Atenție rătăcită

O altă deficiență a modelelor de limbaj, chiar și a celor de ultimă generație, cum ar fi GPT-3, este tendința de a-și pierde focusul pe parcursul unui discurs lung. Cercetătorii au constatat că articolele marcate adesea abordează o temă la începutul articolului, care nu este niciodată reluată după ce a fost menționată inițial în notele preliminare sau în altă parte.

Ei teorizează, de asemenea, că unele dintre cele mai grave exemple apar prin multiple treceri ale textului sursă prin serii de motoare de traducere, fiecare distorsionând sensul și mai mult.

Surse și motive

În încercarea de a descoperi ce se află în spatele acestui fenomen, autorii raportului sugerează o serie de posibilități: că conținutul provenit de la “fabrici de articole” este utilizat ca material sursă, introducând inexactități foarte devreme într-un proces care va produce, în mod inevitabil, inexactități suplimentare; că unelte de “rotire a articolelor” cum ar fi Spinbot sunt utilizate pentru a masca plagiatul; și că presiunea covârșitoare de a publica regulat conduce cercetătorii slab resursați să utilizeze sisteme de tip GPT-3 pentru a-și completa sau genera în întregime articole noi.

Cercetătorii încheie cu un apel la acțiune pentru o supraveghere și standarde îmbunătățite într-o zonă a publicării academice care pare să devină, în mod evident, hrana propriei sale teme – sisteme de inteligență artificială. Ei îndeamnă, de asemenea, Elsevier și alte edituri să introducă proceduri de verificare și examinare mai riguroase și critică, în general, standardele și practicile actuale în acest sens, sugerând că “înșelăciunea cu texte sintetice amenință integritatea literaturii științifice”.