Chiar și inteligența artificială de bază poate scrie știri care trec drept umane

Noi cercetări arată că chiar și modelele locale de inteligență artificială mici pot scrie știri pe care oamenii nu le pot deosebi de jurnalismul real, egalând sistemele de top și lăsând cititorii incapabili să spună cine a scris ce.

Conform unei noi colaborări de cercetare între Germania și Franța, oamenii nu pot spune dacă un articol de știri este scris de un om sau de o mașină – chiar și atunci când este scris de modele deschise care pot fi descărcate și rulate pe calculatoare de birou relativ medii.

Într-o altă indicație că inteligența artificială mică este în ascensiune, un sondaj de 2.318 judecăți colectate de la 1.054 de participanți într-un portal academic dedicat a arătat că cititorii umani nu pot identifica proveniența unui articol la un nivel mai mare decât cel întâmplător, chiar și atunci când a fost generat de modele relativ modeste cu doar șapte miliarde de parametri, incluzând Mistral și Llama variante:

Medii și scoruri de autenticitate pentru LLM-uri testate. Parametrii de 200 de miliarde ai GPT-4o nu depășesc masiv cei 7 miliarde de parametri ai modelelor mai mici enumerate. Cele testate pentru studiu au fost Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o și GPT-3.5. Sursă

Autorii revin la un subiect pe care l-au examinat pentru prima dată în lansarea din 2024 Binecuvântare sau blestem? Un sondaj asupra impactului inteligenței artificiale generative asupra știrilor false. Rezultatele însele sunt noi, provenind dintr-un proiect mai mare inițial anunțat în ianuarie și folosind framework-ul online participativ JudgeGPT al autorilor.

Putere ușoară

Intitulat Oamenii pot spune? Un studiu dual-axă al percepției umane asupra știrilor generate de LLM, și provenind de la trei cercetători de la Universitatea de Științe Aplicate din Frankfurt și unitatea de cercetare IRISA din Nantes, noul studiu face o distincție importantă între “știri false” și “știri scrise de inteligență artificială” (deoarece știrile false pot fi scrise de oameni sau de inteligență artificială, și cele două aspecte nu sunt necesar sinonime).

Cu toate acestea, poate cel mai interesant aspect este concluzia că modelele mici, incluzând Mistral 7B și Gemma 7B, pot, cu doar șapte miliarde de parametri, concura cu aplomb cu modele precum ChatGPT (4o) cu 200 de miliarde de parametri:

‘Modelele deschise cu doar 7 miliarde de parametri produc texte evaluate la fel ca și ieșirile GPT-4o, indicând că capacitatea de a genera texte care nu pot fi deosebite de cele umane nu mai este limitată la modelele de frontieră.’

Cu toate acestea, “știrile generate de inteligență artificială” pot reprezenta multe tipuri de colaborare om-mașină, de la corectură ortografică la defalcarea completă a efortului, și studiul nu face clar exact ce tip de conținut a fost produs pentru testele (deși descrie metodologia de producere a acestuia – vezi mai jos).

Metodă

Pentru participanții implicați în platforma JudgeGPT, fiecare fragment de știri a fost evaluat folosind un cadru dual-axă în care au furnizat trei evaluări independente pe slider-uri continue de la 0 la 100;

Interfața portalului JudgeGPT, unde evaluatorii evaluează materialul pe atribuirea sursei; autenticitate; și familiaritatea cu subiectul. Vă rugăm să consultați sursa pentru o rezoluție mai bună.

Judecata sursei a capturat dacă un pasaj părea scris de mașină sau de om; judecata autenticității, dacă a fost perceput ca fals sau legitim; și familiaritatea cu subiectul, cât de bine cunoștea cititorul subiectul.

Scările continue au fost folosite în loc de o scară Likert, pentru a capta grade de certitudine mai precis și pentru a sprijini analiza statistică, incluzând corelația Pearson și clustering.

Fragmentele de text generate de mașină au fost produse de framework-ul RogueGPT al autorilor, arhitectura de alimentare pentru JudgeGPT. RogueGPT orchestrează contribuții de la șase modele de limbaj mare (LLM): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; și Mistral 7B.

Promptingul bazat pe persoană a fost folosit pentru a genera textele, și generările de inteligență artificială au fost bazate pe subiecte de știri reale și au fost verificate de oameni.

În schimb, fragmentele de text scrise de oameni au fost eșantionate din “surse de știri stabilite” și “baze de date de informații” nespecificate.

Autorii observă:

‘Setul de stimulare este intenționat înclinat spre fragmente de origine mașină (∼98%), cu articole de origine umană care servesc ca repere de calibrare.

‘Acestă alegere de design reflectă focalizarea studiului asupra variației din interiorul inteligenței artificiale (între modele) și nu asupra comparației om-mașină; participanții nu sunt informați despre rata de bază, și rezultatele de detectare aproape de întâmplător se mențin atunci când sunt analizate pe subsetul de origine umană singur.’

Participanții au dat mai întâi consimțământul informat și au completat un chestionar demografic care acoperă vârsta, educația, orientarea politică și familiaritatea cu inteligența artificială, după care au evaluat secvența de fragmente de știri.

Fiecare persoană a examinat între 5-87 de articole, cu o medie de 12, în timp ce ordinea de prezentare a fost aleatorie, și asignarea modelului a fost echilibrată pe participanți, pentru a reduce bias-ul. Platforma a înregistrat cele trei evaluări pe slider-uri alături de timpul de răspuns și un identificator anonim, permițând evaluărilor individuale să fie legate de factori de fond.

Autorii subliniază că eșantionul a fost înclinat spre participanți educați din Europa, cu 68% cu studii universitare și 74% cu sediul în Europa – o bias care studiul o notează ca o limitare pentru generalizarea mai largă.

Teste

Testele sunt împărțite în cinci tipuri de rezultate: deosebirea textului generat de mașină de cel scris de om; compararea detectării între diferite LLM; examinarea efectului expertizei de domeniu versus orientării politice asupra acurateței; identificarea strategiilor de răspuns distincte printre participanți; și urmărirea modului în care acuratețea se schimbă pe parcursul evaluărilor repetate, din cauza oboselii:

Rezumatul celor cinci rezultate principale din 2.318 judecăți de la 1.054 de participanți, arătând că detectarea umană a textului scris de inteligență artificială a rămas la niveluri de întâmplător în toate modelele, că acuratețea a fost legată de expertiza de domeniu și nu de orientarea politică, că participanții s-au grupat în profiluri de încredere distincte și că performanța a scăzut după aproximativ 30 de evaluări, din cauza oboselii cognitive.

Testul a arătat că nu există o diferență semnificativă mai mare decât întâmplător în scorurile sursei între condiții, aparent indicând că participanții nu pot deosebi textul generat de inteligență artificială de cel scris de om:

Distribuțiile scorurilor sursei și autenticității pentru fragmente de origine mașină și umană arată o suprapunere semnificativă, fără o separare semnificativă între cele două condiții, și testarea statistică – indicând că participanții nu pot deosebi în mod fiabil textul generat de inteligență artificială de conținutul scris de om.

Pentru al doilea aspect, așa cum se arată în graficul de la începutul articolului, eșecul detectării nu a variat în funcție de model, deoarece ieșirile tuturor LLM-urilor s-au grupat în jurul judecăților de nivel întâmplător, fără diferențe semnificative între ele. Chiar și sistemele deschise mai mici, cum ar fi Mistral 7B și Gemma 7B, au fost evaluate la fel ca GPT-4o, indicând că textul care nu poate fi deosebit de cel uman poate să nu mai fie limitat la cele mai mari modele.

Pentru al treilea aspect, acuratețea a fost mai puternic legată de expertiza de domeniu decât de orientarea politică, deoarece familiaritatea cu știrile false a corelat cu judecăți mai bune, în timp ce opiniile politice nu au avut un efect semnificativ, sugerând că abilitățile analitice învățate pot conta mai mult decât ideologia:

Rezultatele pentru a treia linie de investigație au arătat că orientarea politică nu a avut un efect semnificativ asupra atribuirii sursei sau a scorului de autenticitate, cu doar tendințe slabe și nesemnificative în ambele măsuri, în timp ce familiaritatea auto-raportată cu știrile false a fost asociată cu o acurateță mai mare în ambele axe. Acest lucru sugerează că abilitatea analitică bazată pe experiență a fost un predictor mai puternic al performanței decât poziția ideologică. Vă rugăm să consultați sursa pentru o rezoluție mai bună.

Al patrulea rezultat a arătat că participanții s-au grupat în două stiluri de răspuns distincte, identificate ca ‘Skeptici’ – care au atribuit o încredere scăzută conținutului, indiferent de origine – și ‘Creduli’ – care au menținut un nivel de bază mai ridicat de încredere.

În cele din urmă, referitor la al cincilea obiectiv, o analiză în derulare a judecăților secvențiale a arătat că participanții au devenit inițial mai buni în sarcină, cu o acurateță care s-a îmbunătățit pe parcursul aproximativ al primelor 15-20 de evaluări, pe măsură ce s-au adaptat la format:

Mediile mobile ale scorurilor sursei și autenticității pe parcursul secvenței de evaluări ale participanților arată o fază inițială de îmbunătățire scurtă, pe măsură ce utilizatorii par să se adapteze la sarcină în primele 15–20 de articole, urmată de o scădere constantă a ambelor măsuri după aproximativ 30 de evaluări. Vă rugăm să consultați sursa pentru o rezoluție mai bună.

Cu toate acestea, acest efect a fost de scurtă durată, deoarece performanța a început să scadă după aproximativ 30 de articole, participanții atribuind din ce în ce mai mult conținutul ca fiind fals – o schimbare interpretată ca oboseală cognitivă, și sugerând limite clare asupra cât de mult timp abordările bazate pe detectare pot rămâne eficiente în practică.

Acest lucru poate reprezenta o dovadă empirică că, obosiți de perspectiva de a deosebi știrile false de cele reale, știrile generate de inteligență artificială de la cele umane, ne putem baza pe a presupune că știrile sunt generate de inteligență artificială și/sau false (nu neapărat același lucru), pentru a fi “în siguranță”. Cei care consideră acest lucru “leneș” și cred că oamenii ar trebui să-și facă propriile cercetări pentru a verifica o posibilă știre falsă ar putea fi interesați să afle că un studiu din 2024 a indicat că acest lucru face lucrurile și mai rele.

Autorii sugerează că eșecul judecății umane, evidențiat în rezultate, indică faptul că putem avea nevoie să lăsăm aceste chestiuni tehnologiilor de proveniență criptografică, cum ar fi inițiativa C2PA condusă de Adobe. Alte soluții posibile menționate sunt framework-ul OriginLens al autorilor și un alt proiect implicat de autor, numit CRED-1.

Autorii concluzionează:

‘Oamenii pot spune? Studiul nostru dual-axă cu 2.318 judecăți de la șase familii de LLM oferă un răspuns empiric clar: nu pot.

‘Textul generat de mașină este indistinguibil de scrierea umană, indiferent de mărimea modelului sau de familie, expertiza de domeniu prezice mai puternic acuratețea detectării decât orientarea politică, participanții adoptă strategii de încredere distincte, și oboseala cognitivă limitează detectarea susținută.

‘Aceste rezultate susțin o schimbare de la detectarea la nivel de utilizator către contramăsuri la nivel de sistem, incluzând proveniența conținutului, indicatori de încredere adaptivi și intervenții de imunizare limitate.’

Concluzie

Aspectul îngrijorător al acestui studiu este rețeaua de proiecte și lucrări pe care autorii – sau unii dintre ei, în funcție de lucrare – le-au inițiat sau au avut o mână în ele; și cu siguranță ar fi fost interesant să se poată studia mostre de texte generate de inteligență artificială și umane care au produs aceste rezultate, pentru a înțelege mai bine tipul de ieșire pe care metodologia de generare a descris-o.

În orice caz, este interesant să aflăm că modelele deschise, cu sursă deschisă, pot concura cu giganții din domeniu, cum ar fi seria ChatGPT – oare sarcina de față nu este de fapt atât de dificilă, și un model cu 200 de miliarde de parametri este o supradimensionare pentru astfel de sarcini? Ar trebui să știm mai multe despre mostrele de inteligență artificială și textele scrise de oameni care au produs aceste rezultate pentru a răspunde la această întrebare.

Între timp, conform site-ului canirun.ai, Mistral 7B (care a fost aproximativ la fel ca ChatGPT-4o în testele) ‘rulează bine’ pe un NVIDIA RTX 3080 cu 16 GB de VRAM, și rulează ‘decent’ pe un 3060 cu 6 GB de VRAM – nu exact cele mai noi sau mai bune plăci grafice în joc*. Așadar, oricine dorește să-și creeze propria metodologie pentru încărcarea mostrelor poate participa, de asemenea, la aceste experimente.

* Gemma 7B nu este listată pe site.

Publicat pentru prima dată joi, 9 aprilie 2026