Spre către scrierea științifică automatizată

Dimineața aceasta, răsfoind secțiunile de știință computerizată de pe Arxiv, așa cum fac în majoritatea dimineților, am dat peste o lucrare recentă lucrare de la Universitatea Federală din Ceará, Brazilia, care oferă un nou cadru de procesare a limbajului natural pentru a automatiza rezumarea și extragerea datelor esențiale din lucrări științifice.

Deoarece acesta este, în esență, ceea ce fac eu în fiecare zi, lucrarea mi-a adus aminte de un comentariu de pe un thread de discuții al scriitorilor de pe Reddit, de la începutul acestui an – o prezicere care spunea că scrierea științifică va fi printre primele locuri de muncă jurnalistice care vor fi preluate de învățarea automată.

Să fiu clar – cred absolut că scriitorul științific automatizat vine, și că toate provocările pe care le prezint în acest articol sunt fie solubile acum, fie vor fi solubile în cele din urmă. În măsura în care este posibil, ofer exemple pentru aceasta. În plus, nu mă refer la faptul că actualii sau viitorii scriitori AI de știință vor fi capabili să scrie în mod coerent; pe baza nivelului actual de interes în acest sector al procesării limbajului natural, presupun că această provocare va fi soluționată în cele din urmă.

Mai degrabă, mă întreb dacă un scriitor științific AI va fi capabil să identifice povești științifice relevante în conformitate cu rezultatele dorite (foarte variate) ale editorilor.

Nu cred că este iminent; pe baza răsfoirii titlurilor și/sau copiilor a aproximativ 2000 de noi lucrări științifice despre învățarea automată, săptămânal, am o perspectivă mult mai cinică asupra gradului în care lucrările academice pot fi descompuse algoritmic, fie pentru scopuri de indexare academică, fie pentru jurnalism științific. Ca de obicei, sunt oamenii care se pun în cale.

Cerințe pentru scriitorul științific automatizat

Să considerăm provocarea de a automatiza raportarea științifică despre cea mai recentă cercetare academică. Pentru a fi corect, ne vom limita în mare măsură la categoriile de științe computaționale ale domeniului Arxiv, care are cel puțin o serie de caracteristici sistematice și șablonizate care pot fi conectate la un pipeline de extragere a datelor.

Să presupunem, de asemenea, că sarcina de față, așa cum este și în cazul noii lucrări din Brazilia, este de a parcurge titlurile, rezumatele, metadatele și (dacă este justificat) conținutul corpului de lucrări științifice noi în căutarea constantelor, parametrilor fiabili, token-urilor și informațiilor de domeniu reducibile și acționabile.

Acesta este, după toate, principiul pe baza căruia noi cadre sunt câștigătoare în domeniile raportării cutremurelor, scrierii sportive, jurnalismului financiar și acoperirii sănătății, și un punct de plecare rezonabil pentru jurnalistul științific bazat pe IA.

Fluxul de lucru al noii oferte braziliene. Articolul științific în format PDF este convertit în text simplu UTF-8 (deși acesta va elimina accentuările italice care pot avea o semnificație semantică), iar secțiunile articolului sunt etichetate și extrase înainte de a fi trecute printr-un filtru de text. Textul descompus este împărțit în propoziții sub formă de cadre de date, iar cadrele de date sunt unite înainte de identificarea token-urilor și generarea a două matrice de token-uri de document Sursa: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Încurcarea șablonului

Un strat încurajator de conformitate și regularizare este acela că Arxiv impune un șablon destul de bine impus pentru depuneri, și oferă îndrumări detaliate pentru autorii care depun lucrări. Prin urmare, lucrările în general se conformează celor mai multe părți ale protocolului care se aplică lucrării descrise.

Prin urmare, sistemul de prelucrare a datelor pentru scriitorul științific automatizat poate trata, în general, astfel de secțiuni ca subdomenii: rezumat, introducere, lucrări conexe/precedente, metodologie/date, rezultate/constatări, studii de ablație, discuție, concluzie.

Cu toate acestea, în practică, unele dintre aceste secțiuni pot lipsi, pot fi redenumite sau pot conține conținut care, strict vorbind, aparține unei alte secțiuni. Mai mult, autorii vor include, în mod natural, titluri și subtitluri care nu se conformează șablonului. Prin urmare, va cădea în sarcina NLP/NLU să identifice conținutul pertinent legat de secțiune din context.

Îndreptându-se spre necaz

O ierarhie de anteturi este un mod ușor pentru sistemele NLP de a categoriza inițial blocuri de conținut. Multe dintre depunerile Arxiv sunt exportate din Microsoft Word (așa cum se poate vedea în PDF-urile Arxiv care lasă ‘Microsoft Word’ în antetul titlului – vezi imaginea de mai jos). Dacă utilizați anteturi de secțiune corecte în Word, o exportare în PDF va recrea acestea ca anteturi ierarhice care sunt utile proceselor de extragere a datelor ale unui raportor mașină.

Cu toate acestea, aceasta presupune că autorii utilizează, de fapt, astfel de caracteristici în Word sau în alte cadre de creare a documentelor, cum ar fi TeX și derivatele sale (rar furnizate ca formate alternative native în depunerile Arxiv, majoritatea ofertelor fiind limitate la PDF și, ocazional, PostScript).

Pe baza a numeroase ani de citire a lucrărilor Arxiv, am observat că majoritatea covârșitoare a acestora nu conțin niciun metadate structurale interpretabile, titlul fiind raportat în cititor (adică un browser web sau un cititor PDF) ca titlul complet (inclusiv extensia), al documentului în sine.

În acest caz, interpretabilitatea semantică a lucrării este limitată, iar un sistem de scriere științifică bazat pe IA va trebui să relege în mod programatic documentul la metadatele sale asociate în domeniul Arxiv. Convenția Arxiv dictează că metadatele de bază sunt, de asemenea, inserate lateral în caractere mari gri pe pagina 1 a unei lucrări depuse (vezi imaginea de mai jos). Din nefericire – nu în ultimul rând pentru că acesta este singurul loc în care puteți găsi o dată de publicare sau un număr de versiune – adesea este exclus.

Mulți autori fie nu folosesc deloc stiluri, fie folosesc doar stilul H1 (antetul/titlul cel mai înalt), lăsând NLU să extragă anteturi fie din context (probabil nu prea dificil), fie prin analiza numărului de referință care constituie titlul în ruta documentului (de exemplu, https://arxiv.org/pdf/2110.00168.pdf) și prin utilizarea metadatelor bazate pe Internet (în loc de metadate locale) pentru depunere.

Deși acesta din urmă nu va rezolva lipsa antetului, va stabili cel puțin la ce secțiune a științei computaționale se aplică depunerea și va furniza informații despre dată și versiune.

GluedText la întoarcerile de paragraf

Cu PDF și postscript ca formatele Arxiv cele mai comune disponibile depuse de autori, sistemul NLP va trebui să aibă o rutină pentru a despărți cuvintele de la sfârșitul liniei de cuvintele de la începutul liniei următoare care se “atașează” la ele sub metodele de optimizare implicite ale formatului PDF.

Desconcatenarea (și dezhidronizarea) cuvintelor poate fi realizată în Perl și în multe alte rutine recursive simple, deși o abordare bazată pe Python ar putea fi mai puțin consumatoare de timp și mai adaptată unui cadru ML. Adobe, creatorul formatului PDF, a dezvoltat, de asemenea, un sistem de conversie bazat pe IA, numit Liquid Mode, capabil să “refluideze” textul “copt” în PDF-uri, deși implementarea sa dincolo de spațiul mobil s-a dovedit a fi lentă.

Engleză slabă

Engleza rămâne standardul științific global pentru depunerea lucrărilor științifice, chiar dacă acest lucru este controversat. Prin urmare, lucrări interesante și demne de a fi citate conțin, uneori, standarde îngrozitoare de engleză, din partea cercetătorilor non-vorbitori de engleză. Dacă utilizarea corectă a englezei este inclusă ca o metrică a valorii atunci când un sistem mașină evaluează lucrarea, atunci nu numai că multe povești bune vor fi pierdute, dar ieșirile inferioare, pedante, vor fi evaluate mai sus, pur și simplu pentru că spun foarte puțin, foarte bine.

Sistemele NLP care sunt inflexibile în acest sens sunt susceptibile de a experimenta un strat suplimentar de obstacole în extragerea datelor, cu excepția științelor rigide și parametrizate, cum ar fi chimia și fizica teoretică, unde graficele și diagramele se conformează mai uniform în comunitățile științifice globale. Deși lucrările despre învățarea automată prezintă adesea formule, acestea nu reprezintă neapărat valoarea definitorie a depunerii, în absența consensului științific bine stabilit cu privire la metodologie, pe care științele mai vechi o bucură.

Selecție: determinarea cerințelor auditoriului

Ne vom întoarce la multele probleme ale descompunerii lucrărilor științifice ciudate în puncte de date discrete. Acum, să considerăm publicul nostru și obiectivele noastre, deoarece acestea vor fi esențiale pentru a ajuta scriitorul științific AI să trieze mii de lucrări pe săptămână. Prezicerea succesului potențial al poveștilor este deja o zonă activă în învățarea automată.

Dacă, de exemplu, traficul științific de volum ridicat este singurul obiectiv la un site web unde scrierea științifică este doar o parte a unei oferte jurnalistice mai largi (așa cum este cazul secțiunii de știință a ziarului britanic Daily Mail), un AI poate fi necesar să determine subiectele cu cel mai mare trafic și să-și optimizeze selecția în direcția aceea. Acest proces va probabil prioriza (relativ) roadele joase, cum ar fi roboți, droni, deepfakes, confidențialitate și vulnerabilități de securitate.

În conformitate cu stadiul actual al artei în sistemele de recomandare, această recoltare de nivel înalt va duce probabil la ‘probleme de bulă de filtrare’ pentru scriitorul nostru științific AI, deoarece algoritmulul acordă o atenție sporită unei mulțimi de lucrări științifice mai dubioase care prezintă cuvinte și fraze cheie “de dorit” cu frecvență ridicată pe aceste subiecte (din nou, pentru că există bani de câștigat în ele, atât în ceea ce privește traficul pentru canalele de știri, cât și în ceea ce privește finanțarea pentru departamentele academice), în timp ce ignoră unele dintre multe “ouă de Paște” (a se vedea mai jos) care pot fi găsite în multe colțuri mai puțin frecventate ale Arxiv.

Una și gata!

Bunul material pentru știri științifice poate veni din locuri ciudate și neașteptate și din sectoare și subiecte anterior nefructuoase. Pentru a-l încurca și mai mult pe scriitorul nostru științific AI, care spera să creeze un index productiv de surse de știri “fructuoase”, sursa unei lovituri neașteptate (cum ar fi un server Discord, un departament de cercetare academică sau o companie de tehnologie de start-up) va adesea niciodată nu va produce din nou material acționabil, în timp ce va continua să emită un flux zgomotos și voluminos de informații de valoare inferioară.

Ce poate deduce o arhitectură de învățare automată iterativă din acest lucru? Că multe mii de surse de știri “outlier” pe care le-a identificat și exclus anterior ar trebui să fie prioritizate din nou (chiar dacă acest lucru ar crea un raport semnal-zgomot de necontrolat, având în vedere volumul ridicat de lucrări lansate în fiecare an)? Că subiectul în sine este mai demn de o acțiune decât sursa de știri de unde a provenit (care, în cazul unui subiect popular, este o acțiune redundantă)..?

Mai util, sistemul ar putea învăța că trebuie să se deplaseze în sus sau în jos în ierarhia dimensionalității datelor în căutarea unor modele – dacă există cu adevărat – care constituie ceea ce bunicul meu jurnalist îl numea “un nas pentru știri”, și definește trăsătura demn de a fi citat ca o calitate itinerantă și abstractă care nu poate fi prevăzută cu acuratețe pe baza provenienței singure și care poate fi așteptată să se mute zilnic.

Identificarea eșecului ipotezei

Din cauza presiunii cotelor, departamentele academice vor publica, uneori, lucrări în care ipoteza centrală a eșuat complet (sau aproape complet) în testare, chiar dacă metodele și constatările proiectului sunt, în orice caz, demne de un anumit interes în dreptul lor.

Asemenea dezamăgiri sunt adesea nesemnalizate în rezumate; în cele mai rele cazuri, ipotezele infirmate sunt discernabile doar prin citirea graficelor de rezultate. Acest lucru nu numai că implică deducerea unei înțelegeri detaliate a metodologiei din informațiile selectate și limitate pe care lucrarea le poate furniza, dar ar necesita, de asemenea, algoritmi de interpretare a graficelor și tabelelor care pot interpreta în mod semnificativ totul, de la un grafic circular la un grafic de dispersie, în context.

Un sistem NLP care se bazează pe rezumate, dar nu poate interpreta graficele și tabelele, s-ar putea entuziasma la prima citire a unei noi lucrări. Din nefericire, exemplele anterioare de “eșec ascuns” în lucrări academice sunt (pentru scopuri de antrenament) dificil de generalizat în modele, deoarece această “infracțiune academică” este în primul rând una de omisiune sau de subevaluare și, prin urmare, evazivă.

Într-un caz extrem, scriitorul nostru AI poate fi nevoit să localizeze și să verifice datele din depozit (de exemplu, de pe GitHub) sau să parcurgă orice materiale suplimentare disponibile, pentru a înțelege ce semnifică rezultatele în ceea ce privește obiectivele autorilor. Astfel, un sistem de învățare automată va trebui să traverseze multiple surse și formate ne cartografiate implicate în acest proces, făcând ca automatizarea proceselor de verificare să fie o provocare arhitecturală.

Scenarii “cutie albă”

Unele dintre cele mai uluitoare afirmații făcute în lucrările de securitate centrate pe IA se dovedesc a necesita niveluri extraordinare și foarte improbabile de acces la codul sursă sau la infrastructura sursă – “atacuri cutie albă”. Deși acest lucru este util pentru extrapolarea unor ciudățenii anterioare necunoscute în arhitecturile sistemelor IA, aproape niciodată nu reprezintă o suprafață de atac realistă. Prin urmare, scriitorul științific AI va avea nevoie de un detector de minciuni capabil pentru a descompune afirmațiile legate de securitate în probabilități pentru implementare eficientă.

Scriitorul științific automatizat va avea nevoie de o rutină NLU capabilă pentru a izola mențiunile “cutie albă” într-un context semnificativ (de exemplu, pentru a distinge mențiunile de la implicațiile de bază ale lucrării) și pentru a deduce metodologia “cutie albă” în cazurile în care fraza nu apare niciodată în lucrare.

Alte “capcane”

Alte locuri în care ineficacitatea și eșecul ipotezei pot fi îngropate sunt în studiile de ablație, care elimină în mod sistematic elemente cheie ale unei noi formule sau metode pentru a vedea dacă rezultatele sunt afectate negativ sau dacă o “descoperire de bază” este rezilientă. În practică, lucrările care includ studii de ablație sunt, de obicei, destul de încrezătoare în constatările lor, deși o citire atentă poate adesea descoperi un “bluf”. În cercetarea IA, acel bluf se referă adesea la supraînvățare, unde un sistem de învățare automată se desfășoară admirabil pe datele de cercetare originale, dar nu se generalizează la noi date sau funcționează sub alte constrângeri nereturnabile.

O altă secțiune utilă pentru extragerea sistematică este Limitări. Acesta este primul capitol pe care orice scriitor științific (AI sau uman) ar trebui să sară, deoarece poate conține informații care anulează ipoteza de bază a lucrării și saltul înainte poate salva ore pierdute (cel puțin pentru oameni). Un scenariu de caz mai rău aici este că o lucrare are, de fapt, o secțiune Limitări, dar faptele “compromițătoare” sunt incluse în altă parte în lucrare și nu aici (sau sunt subevaluate aici).

Următoarea este Lucrări anterioare. Acesta apare devreme în șablonul Arxiv și revelează adesea că lucrarea curentă reprezintă doar o avansare minoră a unui proiect mult mai inovator, de obicei din ultimii 12-18 luni. La acest stadiu, scriitorul AI va trebui să stabilească dacă lucrarea anterioară a obținut tracțiune; este încă o poveste aici? A trecut lucrarea anterioară nedemnă de atenție la momentul publicării sau noua lucrare este doar un postscript perfunctoriu al unui proiect anterior bine acoperit?

Evaluarea reluărilor și “prosperității”

Pe lângă corectarea erorilor într-o versiune anterioară, V.2 a unei lucrări reprezintă adesea mai mult decât doar o solicitare a atenției pe care nu a primit-o atunci când V.1 a fost publicată. De obicei, totuși, o lucrare merită, de fapt, o a doua șansă, deoarece atenția mass-media poate fi deviată în altă parte la momentul publicării sau lucrarea a fost ascunsă de traficul ridicat de depuneri în perioadele de simpozioane și conferințe aglomerate (cum ar fi toamna târzie și iarna târzie).

Unul dintre caracteristicile utile de pe Arxiv pentru a distinge o reluare este eticheta [ACTUALIZAT] atașată titlurilor depunerilor. Sistemul nostru de “recomandare” intern al scriitorului AI va trebui să considere cu atenție dacă [ACTUALIZAT] == “jucat” sau nu, mai ales având în vedere că (presupunând) poate evalua lucrarea reîncălzită mult mai repede decât un jurnalist științific aglomerat, dar are un avantaj semnificativ față de oameni, datorită unei convenții de denumire care este probabil să dureze, cel puțin pe Arxiv.

Arxiv oferă, de asemenea, informații pe pagina de rezumat despre faptul că o lucrare a fost identificată ca având “suprapunere semnificativă” de text cu o altă lucrare (adesea de la aceiași autori) și acest lucru poate fi, de asemenea, parsat într-un statut de “duplicat/reluare” de către un sistem de scriitor AI în absența etichetei [ACTUALIZAT].

Determinarea difuziei

Ca și majoritatea jurnaliștilor, scriitorul nostru științific automatizat este în căutarea de știri neraportate sau subraportate, pentru a adăuga valoare fluxului de conținut pe care îl susține. În majoritatea cazurilor, raportarea din nou a descoperirilor științifice prezentate pentru prima dată în publicații majore, cum ar fi TechCrunch, The Verge și EurekaAlert et al, este inutilă, deoarece astfel de platforme mari susțin conținutul lor cu mașini de publicitate exhaustive, garantând, în esență, saturația mass-media pentru lucrare.

Prin urmare, scriitorul nostru AI trebuie să determine dacă povestea este suficient de proaspătă pentru a fi demnă de urmărit.

Cel mai ușor mod, în teorie, ar fi să identifice legături de intrare recente către paginile de cercetare de bază (rezumat, PDF, secțiunea de știri a site-ului departamentului academic, etc.). În general, cadrele care pot furniza informații actualizate despre legături de intrare nu sunt deschise sau de mică amploare, dar editorii mari ar putea, probabil, suporta costul SaaS ca parte a unui cadru de evaluare a noilor valori.

Presupunând un astfel de acces, scriitorul nostru AI se confruntă cu problema că multe publicații de știri științifice nu citează lucrările pe care le scriu, chiar și în cazurile în care aceste informații sunt disponibile gratuit. După toate, o publicație dorește ca raportarea secundară să se lege de ea, mai degrabă decât de sursă. Deoarece, în multe cazuri, au obținut, de fapt, acces privilegiat sau semi-privilegiat la o lucrare de cercetare (a se vedea Scriitorul științific “social” mai jos), au un pretext nesincer pentru aceasta.

Prin urmare, scriitorul nostru AI va trebui să extragă cuvinte cheie acționabile dintr-o lucrare și să efectueze căutări limitate în timp pentru a stabili unde, dacă există, povestea a apărut deja – și apoi să evalueze dacă orice difuzie anterioară poate fi eliminată sau dacă povestea este epuizată.

Uneori, lucrările oferă materiale video suplimentare pe YouTube, unde numărul de vizualizări poate servi ca indice de difuzie. În plus, AI-ul nostru poate extrage imagini din lucrare și efectua căutări bazate pe imagini sistematice pentru a stabili dacă, unde și când oricare dintre imagini au fost republicate.

Ouă de Paște

Uneori, o lucrare “uscată” dezvăluie constatări care au implicații profund noi și demne de a fi citate, dar care sunt subevaluate (sau chiar ignorate sau subestimate) de autori și vor fi dezvăluite doar prin citirea întregii lucrări și prin efectuarea calculelor.

În cazuri rare, cred că acest lucru se datorează faptului că autorii sunt mult mai preocupați de receptarea în academia decât de cea a publicului larg, poate pentru că simt (nu întotdeauna în mod greșit) că conceptele de bază implicate nu pot fi simplificate suficient pentru consumul general, în ciuda eforturilor hiperbolice ale departamentelor de PR ale instituțiilor lor.

Dar aproape la fel de des, autorii pot subestima sau nu pot vedea sau recunoaște implicațiile lucrării lor, operând oficial sub “detașare științifică”. Uneori, aceste “ouă de Paște” nu sunt indicatori pozitivi pentru lucrare, așa cum s-a menționat anterior, și pot fi cinic ascunse în tabele complexe de constatări.

Dincolo de Arxiv

Trebuie luat în considerare faptul că parametrizarea lucrărilor despre știința computerizată în token-uri și entități discrete va fi mult mai ușoară pe un domeniu, cum ar fi Arxiv, care oferă o serie de “cârlige” consistente și șablonizate pentru analiză și nu necesită autentificare pentru majoritatea funcționalităților.

Nu toate publicațiile științifice sunt deschise, și rămâne de văzut dacă (din punct de vedere practic sau legal) scriitorul nostru AI va recurge la evitarea barierelor de plată prin Sci-Hub; la utilizarea site-urilor de arhivare pentru a evita barierelor de plată; și dacă este fezabil să construiască arhitecturi de minerit de domeniu similare pentru o varietate largă de alte platforme de publicare științifică, multe dintre acestea fiind rezistente structural la sonde sistematice.

Trebuie luat în considerare și faptul că chiar și Arxiv are limite de rată care sunt susceptibile să încetinească rutinele de evaluare a știrilor ale scriitorului AI până la o viteză “umană”.

Scriitorul științific “social” AI

Dincolo de domeniul deschis și accesibil al Arxiv și al platformelor de publicare științifică “deschise” similare, obținerea accesului la o lucrare nouă și interesantă poate fi o provocare, implicând găsirea unui canal de contact pentru un autor și abordarea acestuia pentru a solicita permisiunea de a citi lucrarea și pentru a obține citate (în cazurile în care presiunea timpului nu este un factor determinant – un caz rar pentru reporterii științifici umani în zilele noastre).

Acest lucru poate implica parcurgerea automată a domeniilor științifice și crearea de conturi (trebuie să fiți autentificat pentru a dezvălui adresa de e-mail a unui autor al unei lucrări, chiar și pe Arxiv). De obicei, LinkedIn este cel mai rapid mod de a obține un răspuns, dar sistemele AI sunt, în prezent, interzise să contacteze membri.

În ceea ce privește modul în care cercetătorii ar primi solicitări prin e-mail de la un scriitor științific AI – ei bine, așa cum este și în lumea jurnalismului științific “carne”, probabil că depinde de influența publicației. Dacă un scriitor AI bazat pe IA de la Wired ar contacta un autor care dorește să-și disemineze lucrarea, este rezonabil să se presupună că nu ar întâmpina o reacție ostilă.

În majoritatea cazurilor, se poate imagina că autorul ar spera ca aceste schimburi semi-automate să aducă, în cele din urmă, un om în buclă, dar nu este dincolo de sfera posibilității ca interviurile VOIP de urmărire să fie facilitate de un AI, cel puțin acolo unde viabilitatea articolului este prevăzută a fi sub un anumit prag și acolo unde publicația are suficientă tracțiune pentru a atrage participarea umană într-o conversație cu un “cercetător AI”.

Identificarea știrilor cu IA

Multe dintre principiile și provocările prezentate aici se aplică potențialului de automatizare în alte sectoare ale jurnalismului și, așa cum a fost întotdeauna, identificarea unei povești potențiale este provocarea de bază. Majoritatea jurnaliștilor umani vor recunoaște că, de fapt, scrierea poveștii este doar ultimii 10% din efort, și că, până când se bat la mașină, lucrarea este, în mare măsură, terminată.

Principala provocare, atunci, este de a dezvolta sisteme AI care pot detecta, investiga și autentifica o poveste, pe baza multor vicisitudinilor arcană ale jocului de știri, și de a traversa o gamă largă de platforme care sunt deja consolidată împotriva sondei și exfiltrării, umane sau altfel.

În cazul raportării științifice, autorii noilor lucrări au o agendă auto-servitoare la fel de profundă ca orice altă sursă primară a unei povești de știri, și deconstruirea ieșirilor lor va implica încorporarea cunoștințelor anterioare despre motivații sociologice, psihologice și economice. Prin urmare, un scriitor științific automatizat va avea nevoie de mai mult decât rutinele NLP reductive pentru a stabili unde este știrea astăzi, cu excepția cazului în care domeniul de știri este deosebit de stratificat, așa cum este cazul cu acțiunile, cifrele pandemiei, rezultatele sportive, activitatea seismică și alte surse de știri pur statistice.