Atacul „Survey Paper DDoS” care copleșește cercetarea științifică

Modelele de inteligență artificială generativă, cum ar fi ChatGPT, inunda acum platformele de publicare academică cu lucrări de cercetare generate de IA la niveluri care fac ca raportul semnal-zgomot să devină critic. Un nou studiu susține că această inundație copleșește cercetătorii, distorsionează citările și subminează încrederea în înregistrarea științifică, asemănând valul de lucrări generate de IA cu un „atac DDoS” asupra științei înseși.

(Parțial) opinie  Săptămâna trecută, pentru prima dată în șapte ani de urmărire a fluxului de literatură științifică legată de IA, am fost nevoit să recunosc înfrângerea și să admit că, cel puțin în perioadele de vârf, trebuie să aleg între a rămâne la curent cu noile publicații esențiale sau a avea timp să scriu despre unele dintre ele.

Numărul total de intrări într-un număr limitat de categorii relevante (Viziunea calculatorului, Învățarea automată, Modele de limbaj și câteva alte secțiuni mai puțin populate) a depășit semnificativ o mie – doar pentru depunerile unei singure zile.

La un astfel de volum, chiar și parcurgerea tuturor titlurilor noi și, ocazional, a unor rezumate ar fi făcut o zi improductivă.

Acesta a fost marți, 7 octombrie. Prin contrast, în categoria Învățarea automată, marți trecut (14 octombrie) a oferit un volum de publicare puțin mai mic decât cele 400 de intrări din marțea săptămânii precedente; a avut doar 354 de intrări:

354 de depuneri pentru categoria Învățarea automată într-o singură zi. Sursă: https://arxiv.org/

Ai fi trebuit să fi citit Arxiv în fiecare zi, timp de câțiva ani, pentru a realiza cât de nebunești sunt aceste numere.

Într-adevăr, marțea este „ora de vârf” a Arxiv-ului pentru depuneri, poate pentru că este primul zi de lucru care are loc departe de weekendurile lungi pe care le au oamenii de influență pe care cercetătorii speră să-i ajungă; și categoria Învățarea automată este o secțiune „de colectare” cu un număr mai mic de lucrări unice (lucrări care nu sunt publicate simultan în canale mai specializate) decât majoritatea celorlalte categorii.

Cu toate acestea, creșterea numărului de depuneri de lucrări este deja un fenomen remarcat în academia și în mass-media.

Poate că aspectul cel mai șocant al acestei escaladări este modul în care toate celelalte categorii adiacente rămân mai mult sau mai puțin neschimbate în frecvența lor în ultimii trei ani, în timp ce categoria Știința calculatoarelor (vezi dacă puteți găsi-o în figurile oficiale Arxiv de mai jos) se află pe o traiectorie ascendentă severă:

Creșterea numărului de lucrări de știința calculatoarelor în ultimii trei ani. Sursă: https://info.arxiv.org/about/reports/submission_category_by_year.html

Cu peste trei ani în urmă, producția de lucrări de IA pe Arxiv se estima a fi dublată la fiecare câțiva ani; și va fi interesant să citim propria analiză anuală a tendințelor Arxiv la sfârșitul anului 2025.

Volumul la 11

Cele două motive cele mai evidente pentru care se întâmplă acest lucru sunt a) angajamentul financiar fără precedent pentru IA generativă, care atrage niveluri masive de investiții în cercetare în sectoarele private și academice, care adesea colaborează; și b) faptul că sistemele de modele de limbaj IA, cum ar fi ChatGPT, fac acum ca depunerea de lucrări de cercetare (inclusiv lucrări despre IA) să devină un proces aproape industrializat.

Cu toate acestea, calitatea depunerilor de lucrări nu crește în tandem cu volumul (deși ieșirile eronate ale IA tind să facă mai multe știri în sectorul juridic decât în cel academic, nu în ultimul rând pentru că implicațiile sunt mai evidente acolo).

O politică de toleranță zero este greu de implementat în acest caz, chiar dacă recunoașterea conținutului generat de IA ar fi mai ușoară; în afară de faptul că IA în sine este o binecuvântare manifestă pentru cercetarea științifică în general, utilizarea sa în depunerea de lucrări de cercetare a îmbunătățit în general* claritatea lucrărilor de la mulți depunători non-englezi – persoane și echipe care au operat până acum în dezavantaj.

Însă problema scăderii barierei lingvistice în acest fel este că aceasta ridică și numărul global de depunători, fără a ridica nivelul de supraveghere umană care dă valoare acestor lucrări.

Dacă nivelurile de depunere continuă să crească exponențial, raportul semnal-zgomot va deveni atât de haotic încât doar IA însăși ar putea naviga în noile inundații și afluenți ai lucrărilor de IA; o sarcină pentru care nu este mai potrivită decât pentru a-și verifica propria ieșire. Ironia face că cercetarea științifică este o întreprindere umană intensă.

Un atac asupra cercetării

Motivul acestei reflecții este o colaborare interesantă nouă din China, intitulată Opriți atacul DDoS asupra comunității de cercetare cu lucrări de cercetare generate de IA.

Lucrarea nouă se concentrează în special pe lucrări de cercetare – rezumate de eforturi deosebite ale unor direcții de cercetare, care au listat și contextualizat în mod tradițional, interpretând tendințe și făcând predicții informate:

O fracțiune mică a imensei și mereu crescătoarei cantități de studii disponibile în secțiuni legate de învățarea automată și IA, la arxiv.org

Deoarece aceste studii curatează mai degrabă decât creează, ele sunt neobișnuit de ușor de automatizat cu IA, iar autorii noii lucrări caracterizează proliferarea studiilor de calitate scăzută în termeni de amenințare la adresa securității pentru sectorul de cercetare^†:

‘[Recenta creștere a studiilor generate de IA, în special posibilă datorită modelelor de limbaj de mare scară (LLM), a transformat acest gen tradițional de eforturi intense într-un proces de ieșire de volum mare și efort mic. Deși această automatizare reduce barierele de intrare, introduce și o amenințare critică: fenomenul pe care îl numim „atacul DDoS cu studii de cercetare” asupra comunității de cercetare.

‘Acesta se referă la proliferarea necontrolată a manuscriselor de studii superficiale, dar adesea redundante, de calitate scăzută sau chiar halucinate, care inunda platformele de preprinturi, copleșește cercetătorii și subminează încrederea în înregistrarea științifică.

‘[Noi] susținem că trebuie să oprim încărcarea masivă a studiilor de cercetare generate de IA (adică, atac DDoS cu studii de cercetare) asupra comunității de cercetare, prin instituirea unor norme puternice pentru scrierea de recenzii asistate de IA.’

Autorii afirmă că această accelerare neîngrădită a producției de studii amenință să inunde ecosistemul de cercetare cu rapoarte bine lucrate, dar care lipsesc de adâncime critică și care sunt susceptibile de a propaga erori factuale și/sau halucinații de citări.

Lucrarea avertizează că, fără reguli sau supraveghere mai bune, studiile generate de IA ar putea deveni copii superficiale care denaturează care sunt subiectele importante, ascund analize semnificative și fac revizuiri de literatură mai puțin de încredere:

‘Implicațiile pentru calitatea cercetării și încredere sunt profunde. Mai întâi, progresele reale riscă să fie obscure de reîncărcări algoritmice ale lucrărilor existente.

‘Noii veniți și cercetătorii interdisciplinari pot avea dificultăți în a găsi revizuiri de încredere în mijlocul zgomotului. Mai mult, erorile sau prejudecățile introduse de redactarea automată pot propaga necontrolat, însămânțând cercetări ulterioare cu premise defectuoase.

‘În rezumat, inundația de studii generate de IA și nepublicate în peer-review pune în pericol atât rigurozitatea revizuirilor de literatură, cât și credibilitatea înregistrării științifice.’

Autori „anormali”

Cercetătorii noii lucrări oferă câteva analize interesante despre evoluția depunerilor de studii:

Stânga: numărul anual de studii de știința calculatoarelor din 2020 până în 2024. Mijloc: scoruri medii de generare de IA pentru acele studii în aceeași perioadă. Dreapta: numărul de autori marcați ca „anormali” (cei cu ieșiri de studii neobișnuit de ridicate, diversitate de co-autori limitată și modele instituționale recurente) în fiecare an. Toate cele trei tendințe arată o creștere accentuată începând cu 2023, coincizând cu lansarea ChatGPT și a altor modele de limbaj de mare scară.

În prima coloană vedem tendințe de creștere: curba începe să se încline în jurul anului 2022, exact când ChatGPT a apărut și modelele de limbaj de mare scară au început să devină mainstream, și modelele următoare, cum ar fi Claude, PaLM și Gemini ar fi menținut această tendință pe tot parcursul anului 2023.

Graficul din mijloc arată o creștere accentuată a depunerilor după 2022, coincizând cu lansarea ChatGPT. O echipă de cercetare a găsit că, până în 2024, mai mult de 10% din rezumatele științifice fuseseră generate de un LLM. Un raport separat de la o firmă de detectare a IA a estimat saltul post-ChatGPT la 72% pentru lucrări de pe arXiv care ar fi putut fi scrise cu ajutorul IA. Numărul de lucrări cu scoruri de generare de IA ridicate s-a dublat într-un an, de la 3,6% la 6,2%.

Graficul din dreapta arată o creștere constantă a numărului de „autori anormali” (cercetători care depun trei sau mai multe studii într-o lună, lucrând cu mai puțin de doi colaboratori), cu o creștere mai accentuată începând cu 2022.

Autorii susțin că multe dintre aceste studii ar fi putut fi redactate de IA, din diverse motive; unele sunt scrise de autori singulari sau grupuri mici care depun multiple studii într-un timp scurt; multe acoperă subiecte nelegate; și, în unele cazuri, autorii nu au niciun precedent în domeniile pe care le rezumă.

În plus, unele sunt publicate sub colective anonime, fără legături instituționale clare – modele care sugerează o inundație coordonată a domeniului cu studii rapide, posibil pentru a obține citări sau pentru a-și îmbunătăți profilurile academice, mai degrabă decât pentru a face o contribuție reală la literatură.

Probleme

Deși nu putem acoperi toate obiecțiile noii lucrări, ar trebui să examinăm unele dintre cele mai remarcabile observații, precum și să aruncăm o privire critică asupra soluțiilor autorilor pentru aceste probleme.

Calitate și originalitate

Problema nu este doar volumul: multe studii generate de IA sar peste ceea ce face o bună revizuire utilă: structură clară, analiză profundă, credit corect și asiduu, și adevărată perspicacitate. În schimb, lucrarea sugerează că studiile generate de IA sau asistate de IA citesc adesea ca rezumate împăturite, fără grija sau cură necesară.

Autorii observă, în plus, că studiile generate de IA adesea lipsesc de structură, dar în schimb listează pur și simplu lucrări fără direcție clară, sărind secțiuni cheie și fără a crea context. Studiile scrise de oameni, pe de altă parte, tind să stabilească categorii adecvate și să spună o poveste mai coerentă.

De asemenea, multe studii care par să fie generate de IA sau asistate de IA par să copieze pur și simplu împărțiri de subiecte existente, uneori direct din Wikipedia. De exemplu, lucrarea notează că multiple studii despre Transformatori de viziune conțin titluri de secțiuni comune și structură, trădând ieșirea de șablon a IA:

‘În contrast, o revizuire bine scrisă de către un om ar putea introduce o nouă taxonomie, de exemplu, categorisind ViT după strategii de eficiență. Lipsa unei astfel de structuri originale în multe dintre noile preprinturi de studii ridică îngrijorări că ar fi putut fi generate de IA cu insight uman limitat.’

Nu mă citați pe mine pentru asta

Poate cel mai jenant, studiile generate de IA obțin adesea citări greșite, lipsind lucrări cheie, inclusiv lucrări neverosimile, și uneori chiar listând lucrări inexistente – erori care sugerează că referințele provin din potriviri de modele de suprafață, mai degrabă decât din adevărată expertiză.

Autorii subliniază, de asemenea, că unele studii recente, adesea de la echipe complet diferite, împărtășesc până la 70% din listele lor de referințe – un nivel de suprapunere atât de ridicat, încât sugerează o dependență comună de LLM, care se bazează pe același grup îngust de material sursă.

Într-adevăr, utilizatorii casual ai ChatGPT știu că, cu cât subiectul este mai obscur, cu atât mai puține surse diverse există pentru modelul de a generaliza; foarte adesea, găsirea surselor proprii ale modelului pe web este mai utilă decât încercarea de a interacționa cu acea informație prin intermediul unei IA care nu a avut date adecvate într-un anumit domeniu.

Un stil „omogen” care apare

Autorii observă, de asemenea, că multe studii generate de IA despre același subiect par și sună aproape identic, deoarece LLM reutilizează frazări și structură, mai ales pentru subiecte populare, rezultând o inundație de lucrări aproape identice care adaugă puțină valoare și care adaugă, de asemenea, zgomot semnificativ pentru cercetătorii care caută răspunsuri în domeniu*:

‘Când mai mulți autori cer unui LLM să „scrie o revizuire a literaturii despre X”, modelul produce adesea răspunsuri foarte asemănătoare, mai ales pentru definiții comune sau fapte bine cunoscute. Cercetări recente au arătat o creștere accentuată a utilizării anumitor modele de scriere legate de LLM, sugerând că multe lucrări împărtășesc acum același stil.’

ChatGPT-ul dvs. este vizibil

Lucrarea observă că o modalitate rapidă de a detecta studii generate de IA este prin prezența frazelor precum ‘ca un model de limbaj IA‘ sau ‘limita mea de cunoaștere‘, sugerând o cură minimă sau chiar zero a ieșirii de la modelele de limbaj înainte de a depune lucrările (deși o căutare țintită la momentul scrierii nu a dezvăluit astfel de „pistole fumegânde” indexate în Google Search).

Lucrarea notează că multe „studii suspecte” prezintă o diversitate de cuvinte mai mică și frazări repetate, de exemplu, începând multiple paragrafe cu În plus. Acest tip de model, sugerează autorii, este tipic pentru scrierea în stil GPT, și ar putea fi un steag util pentru detectarea textului generat automat.

(Comentariul meu personal despre acest lucru este că constrângerile jurnalismului online adesea cer unui scriitor să enumere multe articole într-o formă de proză, non-stilată. Prin urmare, ChatGPT și colegii săi sunt probabil să fi învățat această prostie de la scriitorii umani care s-au confruntat cu un număr limitat de alternative lexicale. În plus, conjectura autorilor arată că se joacă cu principiile detectării conținutului de IA, care este un domeniu complex și în evoluție, cu puține constante de durată de tipul celor pe care autorii le sugerează)

Deși cercetătorii continuă să dezvolte un discurs fascinant despre impactul negativ al studiilor de IA asupra culturii de cercetare și a încrederii, trebuie să trimitem cititorul la lucrarea sursă pentru o adâncime mai mare a acestui subiect.

Soluții?

Soluția lucrării este fascinantă, radicală și, în același timp, ciudat de neoriginală: utilitatea studiilor de cercetare ar trebui să fie înlocuită de un Studiu de cercetare dinamic și live – prin interpretare, o specie de hibrid între un Wiki și o pagină GitHub, alimentată constant cu date noi de la LLM și alte sisteme de IA, dar cu commit-uri realizate doar de oameni, astfel încât IA să nu poată „auto-publica” actualizări.

Sistemul propus ar împărtăși versiunile și ramificările de la GitHub, transformând practic o resursă de informații într-o listă actualizată constant, similară cu lista „awesome” de la GitHub:

‘În acest cadru, un membru al comunității stabilește mai întâi un subiect de studiu wiki, specificând domeniul de aplicare, întrebările cheie de cercetare și referințele semnificative, stabilind astfel o graniță tematică clară și o structură inițială.

‘Ulterior, un agent de ingestiune bazat pe LLM monitorizează în mod constant arhivele de preprinturi, procedurile de conferințe și tablele de lideri de benchmark. Acesta extrage automat rezumate, figuri și metrici de performanță cheie; sintetizează rezumate concise ale noilor rezultate; actualizează graficul de citări pentru a reflecta relațiile inter-papere; și semnalează tendințe de cercetare emergente pentru revizuirea ulterioară.

‘Prin design, aceste actualizări automate au loc în câteva ore de la publicare, asigurând că depozitul rămâne în avangarda cercetării.’

‘Contributorii umani intervin apoi pentru a oferi adâncimea interpretativă pe care mașinile singure nu o pot oferi. Ei rafinează taxonomii în evoluție pentru a captura distincții metodologice subtile, coordonează interpretări contradictorii ale inovațiilor algoritmice din diferite subdomenii și oferă comparații critice mai profunde pentru document.’

Cartea schimbărilor

Autorii explică cu entuziasm și pe larg această propunere și o justifică, în esență, cu ceva foarte adevărat: studii de cercetare de efort intens despre subiecte volatile din jurul IA îmbătrânesc atât de repede încât abia merită să fie scrise; și lucrarea notează că o perioadă de trei luni pentru o nouă lucrare de studiu de cercetare va face probabil ca aceasta să devină învechită (sau sever învechită) până la data de publicare planificată:

‘An după an, comunitățile sunt inundate cu revizuiri repetitive sau superficiale care pierd rapid relevanța, lăsând practicienii și noii veniți deopotrivă să se lupte pentru a distinge semnalul de zgomot. Ciclul tradițional de publicare (adică, proiectare, depunere, revizuire și publicare) poate dura câteva luni, până la care momentul învingător poate fi deja schimbat peisajul.

‘Mai mult, volumul tot mai mare de studii statice adaugă la suprasarcina cognitivă, deoarece cititorii trebuie să cerceți numeroase documente suprapuse pentru a găsi perspective substanțiale.’

Din nefericire, soluția lucrării împărtășește multe dintre cele mai rele și mai blamate calități ale Discord: mai ales că ar fi o resursă în continuă schimbare și transformare.

Deoarece orice parte a unui Studiu de cercetare dinamic și live ar putea dispărea sau fi modificată în orice moment, ar fi imposibil să o utilizeze ca sursă stabilă și citabilă; cu excepția, poate, a legării de un „commit anterior”, în mod similar cu modul în care site-urile de arhivă, cum ar fi archive.is și Wayback Machine, oferă legături către conținutul paginilor web, înghețat la un moment dat. Dar ce resurse ar necesita un astfel de commit, și ar putea fi el încredințat să rămână activ pe termen lung?

În plus, o platformă/Wiki cu definiții și conținut în continuă schimbare ar fi dificil de indexat, fie de motoarele de căutare tradiționale, fie de LLM.

Probabil că partea cea mai slabă a sistemului propus este ideea că oameni reali ar trebui să supravegheze commit-urile de la agenții LLM; așa cum se întâmplă întotdeauna, oamenii reali sunt scumpi. Ceea ce se propune este ceva între un muzeu și o bibliotecă – ambele urmând să aibă nevoie de provizionare de „carne” proporțională cu volumul de date și numărul de subiecte acoperite.

Dacă „folosiți oameni reali” este singura soluție la o problemă de dezvoltare a IA, este corect să spunem că problema rămâne deschisă și nesoluționată.

Concluzie

În acest moment, durata de viață scurtă a studiilor de cercetare despre IA este enervantă; dacă tendința actuală de scriere automatizată și depunere continuă, așa cum este imaginată în noua lucrare, se va menține, raportul semnal-zgomot va deveni cronic, și literatura va deveni inguvernabilă.

Într-o astfel de situație, ar fi și mai greu decât este acum pentru vocile minore, sub-FAANG, să fie auzite în furtuna de depuneri, și liderii de piață majori ar câștiga probabil o promovare și mai mare.

Pe lângă studii de cercetare live, noua lucrare propune că autorii nu numai că ar trebui să-și declare când IA este utilizată în orice parte a unei depuneri, dar și că secțiunile asistate de IA ar trebui să fie etichetate explicit în cadrul unei lucrări (poate cu un fișier JSON atașat…?).

Deoarece aceasta este o perspectivă oneroasă, lucrarea sugerează, în schimb, ceea ce numesc eu un „ghetou de IA” – o secțiune distinctă în depunere, rezervată contribuțiilor de IA.

În sinteză, noua lucrare nu are, în opinia mea, soluții realiste de oferit; dar autorii au realizat un serviciu util prin a formula provocările care ne așteaptă.

Lucrarea Opriți atacul DDoS asupra comunității de cercetare cu studii de cercetare generate de IA poate fi găsită la https://arxiv.org/abs/2510.09686, și este scrisă de șase autori din diverse departamente de la Universitatea Shanghai Jiao Tong.

___________________________________

* Nu toată lumea este de acord cu acest lucru.

^† Accentuarea autorilor, nu a mea. De asemenea, acolo unde se aplică, conversia mea a citărilor inline ale autorilor în legături hipertext.

Publicat pentru prima dată vineri, 17 octombrie 2025