Inteligența artificială poate ajuta la identificarea “slime-ului roz” din știri

de detectat dacă inteligența artificială este utilizată pentru a face să sune mai originale și mai raționale. Așadar, cursa este în desfășurare pentru a rămâne înainte în jocul de detectare a “slime-ului roz”. Dezfinanțarea instituțiilor media locale tradiționale în ultimii douăzeci de ani, atât din cauza evoluției tendințelor media,

Morile de opinie cu agendă, proiectate mai mult pentru a influența opinia publică decât pentru a servi publicului, ar putea fi mai greu cât și apoliticii guvernului SUA, a lăsat un vid în raportarea regională, care a fost încântător preluat de organizații partizane care utilizează inteligența artificială pentru a-șipromova agendele . Pentru a pune termenul “partizan” în context (având în vedere că nicio organizație de știri nu este lipsită de tendințe politice de un anumit fel), vorbim despre companii petroliere care rulează site-uri de știri regionale de la distanță, fără niciun fel de resurse locale reale, dar cu un mandat de a apăra reputația publică a companiei; site-uri de știri motivate politic lipsite de orice sursă de venit care se pregătesc înainte de alegeri; și întregi rețele desite-uri de știri pro-republicane care apar din nowhere , aproape de momentul alegerilor. În 2024, s-a estimat că știrile locale “slime roz” generate de inteligența artificială au depășit în cele din urmă numărul de instituții media locale reale; în acel moment, un sondaj australian a constatat că 41% dintre consumatori preferă sursele “slime roz” în locul surselor “reale”. Acest tip de agitare electorală ascunsă, se poate argumenta, a evoluat de la o simplă artă întunecată la o amenințare existențială pentru democrație (în ceea ce privește instituțiile media motivate politic) și pentru încrederea publică în standardele de echitate în raportare. Prin urmare, metodele de distingere a caracteristicilor de ieșire ale editurilor și radiodifuzorilor “slime roz” de la organizațiile media tradiționale ar fi de mare ajutor, cel puțin în înțelegerea actorilor și forțelor motrice din climatul informațional actual. În acest moment, trucajele și șablonurile instituțiilor de știri reale sunt foarte ușor de imitat, iar inteligența artificială face publicarea la scară și realitatea curentă, utilizând multe dintre aceleași trucuri adoptate de către editorii și radiodifuzorii “vechi” cu buget redus.

Semnal și zgomot

Un nou studiu din Statele Unite abordează această problemă, investigând utilizarea în creștere a modelelor de limbaj mare pentru a face site-urile “slime roz” să sune mai puțin genereice și mai ușor de detectat, și creând un cadru de învățare proiectat pentru a ține pasul cu evoluțiile în schimbare ale ieșirii “slime roz” (PS). Intitulat , Pink Slime Journalism: Semnături lingvistice și detectare robustă împotriva amenințărilor generate de LLM noul studiuExposing provine de la cinci cercetători de la Universitatea Texas. Noul studiu investighează modul în care articolele locale de știri masiv produse “slime roz” diferă de raportarea legitimă, concentrându-se pe dependența lor de structuri scurte și repetitive și de fraze șablon, cu variație minimă; și autorii notează că articolele “slime roz” tind să reutilizeze șabloane identice proiectate pentru a manipula opinia publică, cu apeluri la emoție în prim-plan în conținut: Din noul studiu – mai

multe site-uri publică articole aproape identice, cu doar detalii de locație modificate, dezvăluind o strategie de copiere și lipire pentru a produce conținut care imită știrile locale legitime. Sursă Modelele de detectare tradiționale antrenate pe aceste

caracteristici se descurcă bine împotriva unui astfel de conținut, dar eşuează atunci când articolele sunt rescrise utilizând chatbot-uri de inteligență artificială pentru a apărea mai naturale sau mai sofisticate. Testele autorilor indică faptul că chiar și modificările stilistice minore introduse de modelele de limbaj mare pot reduce acuratețea detectării cu până la 40%. Pentru a contracara acest lucru, ei propun un cadru de învățare continuă care reantrenează modelele de detectare pe articole atât originale, cât și rescrise de inteligența artificială, pentru a se adapta la modelele lingvistice în schimbare.

Metodă

Pentru a stabili date pentru proiect, autorii au utilizat setul de date Pink Slime ,care conține 7,9 milioane de articole care acoperă 1.093 de site-uri în perioada 2021-2023, din care au obținut 9.472 de articole “slime roz” după filtrare. Ei au utilizat, de asemenea, setul dedate LIAR , care conține știri false annotate, precum și colecția NELA-GT-2021 , care conține doar articole din Statele Unite*. Pentru a pregăti seturile lor de antrenare și testare, autorii au utilizat mai întâi algoritmul de încorporare stochastică T-distributed (t-SNE )pentru a reduce încorporările articolelor la două dimensiuni. Ei au aplicat apoi algoritmul de clustering Density-Based-Spatial-Clustering-of-Applications-with-Noise ( DBSCAN ) pentru a izola cluster de articole “slime roz”similare.Fiecare cluster a fost tratat ca un grup de povești legate, multe dintre ele urmând încă același șablon, în ciuda eforturilor de a aborda duplicatele. Pentru a preveni articolele similare să apară atât în seturile de antrenare, cât și în seturile de test , cluster întregi au fost selectate aleatoriu,cu 80% utilizate pentru antrenare și 20% pentru testare. Deoarece articolele de știri legitime nu au format cluster clare, a fost aplicată o împărțire aleatorie în schimb. Acest proces a fost repetat de trei ori, pentru a asigura coerența și pentru a reduce sesizarea selectivă . Comentând asupra trăsăturilor distinctiveale

nouă propoziții pe articol.

PS față de știrile obișnuite, cercetătorii afirmă că articolele locale de știri “slime roz” sunt semnificativ mai scurte și mai simple decât raportarea legitimă, având în medie mai puțin de Caracteristici ale “slime roz” O proporție mai mare de propoziții simple și o dependență mai mare de adjective sunt, de asemenea, caracteristici ale “slime roz”, conform studiului, și indică o predilecție pentru limbajul repetitiv și încărcat emoțional. Bogăția lexicală a fost măsurată utilizând raportul

Root-Type-Token ( RTTR ), și s-a constatat că este semnificativ maimicăîn articolele “slime roz”, care au prezentat, de asemenea, mult mai puține fraze nominale unice. Aceste modele denotă un vocabular limitat și un stil formulaic, în contrast cu știrile locale legitime, care se caracterizează prin modele complexe de parte de vorbire construite în jurul verbelor auxiliare, pronominelor și conjuncțiilor. În schimb, articolele false favorizează structuri de parte de vorbire de bază, cu utilizare frecventă a trigramelor bazate pe punctuație, ceea ce sugerează unstil de scriere mai puțin formal și mai fragmentat.

Teste

Pentru a examina asocierile dintre diferite tipuri de articole de știri, pe baza caracteristicilor lingvistice și structurale, încorporările au fost generate utilizând modelul stella_en_400M_v5 cu 435 de milioane de parametri, și reduse cu analiza componentelor principale (PCA) șit-SNE pentruvizualizare. Când au fost proiectate în două dimensiuni, articolele de știri false locale au format cluster mici și dense, fiecare corespunzând unor subiecte înguste, cum ar fi statistici de crimă, actualizări de stocuri sau donații caritabile: Modele de clustering dintr-o

proiecție t-SNE arată că articolele “slime roz” formează grupări strânse și repetitive, în timp ce știrile legitime afișează distribuții mai largi și mai variate, aliniate cu diversitatea de subiect și stil. Într-adevăr, după cum se poate

vedea în vizualizarea de mai sus, acest model sugerează un format rigid și șablon, cu variație minimă între articole. În mod interesant, articolele etichetate ca “știri false” s-au îndepărtat de conținutul local fals, prezentând o distribuție mai în concordanță cu știrile reale , ceea ce indică faptul că știrile locale false masiv produse pot să nu fie pur și simplu mai puțin adevărate, dar pot fi și mecanic distincte în formă și compoziție. În contrast, știrile locale “legitime” formează cluster mai puține și mai spațiate, în concordanță cu un limbaj și un subiect mai divers, în timp ce articolele de știri naționale prezintă o dispersie și mai mare, reflectând o gamă mai largă de subiecte și o coerență stilistică mai laxă. Comparații de caracteristici

între știrile locale legitime și conținutul “slime roz”, indicând că articolele “slime roz” sunt mai scurte, utilizează structuri de propoziții mai simple, conțin mai multe adjective, prezintă o bogăție lexicală mai mică, favorizează trigrame de parte de vorbire de bază și conțin mai puține fraze nominale unice.

Detectare

Cercetătorii au evaluat două abordări principale pentru detectarea conținutului “slime roz”: clasificarea , pe baza caracteristicilor lingvistice create de mână;și modelele detransformare fost testatebazate pe . reglare fină Pentru abordarea creată de mână, caracteristicile structurale, mai degrabă decât cele semantice, au fost subliniate, utilizând numărul de propoziții; bogăția lexicală; adâncimea sintactică; probabilitățile de co-ocurență a părților de vorbire; probabilitățile de co-ocurență a etichetelor de dependență; citibilitatea; și numărul de părți de vorbire. Trei modele au peacest set de caracteristici:XGBoost ; Pădurea aleatorie ; și Mașina de suport vectorial (SVM) – cu Pădurea aleatorie care a prezentat rezultate ușor mai puternice în general. Atât XGBoost, cât și Pădurea aleatorie au atribuit o importanță predictivă ridicată caracteristicilor, cum ar fi numărul de propoziții și numărul de fraze nominale unice. Măsurile de citibilitate și bogăția lexicală au influențat, de asemenea, clasificarea puternic, deși modelele au ponderat acestea în mod diferit, cu XGBoost favorizând Flesch și RTTR,

în timp ce Pădurea aleatorie s-a îndreptat spre CTTR: Scoruri de importanță a caracteristicilor pe baza SHAP (SHapley Additive exPlanations) subliniază modul în care fiecare caracteristică de intrare influențează ieșirea modelului în diferite exemple. În acest caz, valorile SHAP arată că atât XGBoost, cât și Pădurea aleatorie s-au bazat în principal pe numărul de propoziții și fraze nominale unice pentru a distinge “slime roz” de știrile reale, atribuind greutăți diferite măsurilor de bogăție

lexicală și citibilitate. Într-adevăr, după cum se poate vedea în comparațiile de caracteristici de mai sus, articolele “slime roz” favorizează sensaționalismul în detrimentul detaliilor, cu o bogăție lexicală mai mică și cu fraze nominale unice mai puține – consolidând concluzia că acest tip de conținut este puternic șablon și repetitiv. Modelele de trigramă de parte de vorbire confirmă că știrile locale legitime tind să utilizeze forme structurale mai complexe, care implică verbe auxiliare, pronume și conjuncții, în timp ce “slime roz” favorizează sintaxa minimă sau fragmentată. Aceste modele sugerează o bază fiabilă pentru distingerea conținutului sintetic local de jurnalismul real. O a doua rundă de testare a implicat reglarea fină a modelelor de transformare pe textul complet al articolului, pentru a captura atât conținutul semantic, cât

șistructura sintactică. BERT, XLNet și Flan-T5 au fost testate, cu BERT obținând cel mai ridicat scor F1 la 89,31% – deși studiul notează că diferențele de performanță nu au fost semnificative din punct de vedere statistic. În contrast cu clasificatorii creați de mână, aceste modele actualizează toate greutățile în timpul antrenării, permițându-le să învețe reprezentări specifice sarcinii direct din date. O metodă suplimentară bazată pe încorporare a utilizat un clasificator conectat complet care a performant mai bine decât modelele create de mână, dar nu a egalat acuratețea reglării fine complete. Aceste abordări au beneficiat de un context lingvistic mai larg – avantajoase, având în vedere că articolele “slime roz” reciclează adesea conținutul între site-uri. Caracteristicile create de mână, în schimb, se bazează pe sintaxa de suprafață singură, limitându-le capacitatea de a generaliza între surse.

Îmbunătățirea “slime roz” cu LLM

Pentru a testa dacă articolele “slime roz” pot fi făcute mai greu de detectat, cercetătorii le-au rescris utilizând modele de limbaj mare. Prompturile au fost proiectate pentru a îmbunătăți stilul de scriere prin extinderea conținutului, adăugarea complexității propoziționale, reducerea suprasolicitării adjectivelor, impunerea unui ton neutru, utilizarea unui vocabular mai variat și creșterea numărului de fraze nominale unice, cu scopul de a ascunde trăsăturile de suprafață pe care se bazează majoritatea sistemelor de detectare. Modelele testate aufost Gemma-2B ;Mistral-7B ; Llama-1B; Llama-3B ;Llama-8B ; Qwen-7B; GPT-4o miniși Claude-3.5-Haiku . Performanțade detectare (F1) a unuiclasificator

BERT reglat fin atunci când articolele “slime roz” sunt rescrise de diferite LLM. Scorurile mai mici indică o ascundere mai reușită. Printre aceste rezultate, autorii

comentează: ‘(Printre) modelele deschise, Qwen a

fost cel mai eficient în evitarea detectării: atunci când a fost testat împotriva unui clasificator BERT reglat fin anterior (scor F1 de bază: 89%), a dus la o scădere a performanței de detectare cu 28,34%.

care o reprezintă obfuzia de înaltă calitate generată de LLM.’ Aceste rezultate, susțin autorii, arată cât de ușor pot fi articolele “slime roz” deghizate de LLM, făcându-le mult mai greu de detectat de către instrumentele actuale**.

‘Modelele cu sursă închisă au fost semnificativ mai puternice, cu GPT-4o-mini și Claude-3.5-Haiku reducând scorul F1 cu o medie de 40%, subliniind provocarea pe

Concluzie

Această linie de cercetare conține câteva întrebări interesante, nu în ultimul rând faptul că atât de mulți oameni (conform unui sondaj, menționat anterior) Opinie sprijină conținutul “slime roz”, știind ce este, ceea ce pune în discuție contextul pejorativ. Este ca și cum oamenii știu că “Soylent Green este oameni”, dar se ridică din umeri și continuă să mănânce; sau așa pare, dintr-o perspectivă liberală. Acesta este un exemplu de conținut complet tradus

în limba română, fără a adăuga sau a

modifica informații.