Demotarea răspunsurilor învechite cu Machine Learning

Uneori, adevărul are o dată de expirare. Când o afirmație cu termen limită (cum ar fi “măștile sunt obligatorii în transportul public”) apare în rezultatele motoarelor de căutare, soluția sa aparent “autoritară” poate rămâne mai mult timp, chiar și după mulți ani, depășind conținutul ulterioară și mai precis pe același subiect.

Acest lucru este o consecință a determinării algoritmilor motoarelor de căutare de a identifica și promova soluții “definitive pe termen lung” și a tendinței lor de a prioriza conținutul bine legat care menține traficul în timp – și a unei atitudini din ce în ce mai prudente față de conținutul nou în era apariției știrilor false.

Alternativ, diminuarea valorii conținutului web valoros doar pentru că ștampila timpului asociat cu acesta a depășit o “fereastră de valabilitate” arbitrară, risca să facă ca o generație de conținut util să fie demotată automat în favoarea materialului ulterioară, care poate fi de o calitate inferioară.

Pentru a remedia această situație, o nouă lucrare a cercetătorilor din Italia, Belgia și Danemarca a utilizat o varietate de tehnici de învățare automată pentru a dezvolta o metodologie pentru clasificarea dovezilor în funcție de timp.

Dincolo de răspunsurile învechite

Articolul este scris de cercetători de la Comisia Europeană, de la Centrul de Cercetare Comună (JRC) din Ispra, de la Universitatea Catolică din Leuven și de la Universitatea din Copenhaga.

Lucrarea examinează patru metode de clasificare temporală aplicate pe trei metodologii de verificare a faptelor, fiecare cu o abordare diferită a clasificării dovezilor, și oferă o metodologie nouă pentru clasificare care utilizează ștampilele timpului ca “standard de aur”. Studiul arată că clasificarea dovezilor în funcție de timp îmbunătățește perspicacitatea rezultatelor și, de asemenea, îmbunătățește previziunile autorității și veridicității faptelor și afirmațiilor sensibile la timp.

Cercetarea este oferită ca o posibilă completare a sistemelor ulterioare sau existente și este destinată să ajute în cercetare, precum și să fie un factor suplimentar pentru includerea în dezvoltarea noilor algoritmi de căutare.

Lucrarea modelează dinamica temporală a dovezilor pentru verificarea faptelor pe baza conținutului și depășește abordările de “similaritate semantică” adoptate de algoritmii de clasificare ai motoarelor de căutare. Modelul instruit de cercetători utilizează o funcție de învățare optimizată pentru clasificare care poate fi ușor suprapusă peste o arhitectură de verificare a faptelor existentă. Cercetătorii susțin că sistemul este o contribuție nouă la verificarea automată a faptelor.

Modificarea arhitecturilor multiple de verificare a faptelor

Cercetătorii au aplicat factorul temporal pe trei arhitecturi de verificare a faptelor existente. Prima dintre acestea este modelul Bidirectional Long Short Term Memory (BiLSTM) propus în setul de date MultiFC lansat în 2019.

A doua este o modificare a primei, cu o rețea neurală recurentă unidirecțională care înlocuiește componenta LSTM.

Al treilea model utilizat de cercetători este un transformator DistilBERT din biblioteca Hugging Faces, o versiune distilată a modelului BERT NLP de la Google.

Pe toate cele trei arhitecturi, cercetătorii au aplicat o pierdere ListMLE, din cercetarea condusă de Microsoft, care a contribuit constant la cercetarea de verificare a faptelor în ultimele două decenii.

Cele două modele principale de verificare a faptelor la care echipa de cercetare a adăugat un component temporal ca filtru pentru autoritate și valori de clasificare ulterioară. Sursă: https://arxiv.org/pdf/2009.06402.pdf

Valorile ștampilelor timpului au fost extrase din metadatele de antrenare și incluse ca factori de clasificare în fiecare model.

Testarea

Evaluarea experimentală a sistemului a implicat utilizarea setului de date MultiFC, deoarece este singurul set de date deschis de mare volum disponibil pentru acest interes de cercetare. MultiFC conține 34.924 de afirmații reale obținute din 26 de domenii de verificare a faptelor, inclusiv Snopes și Washington Post.

Previziunile veridicității fiecărei afirmații au fost completate cu zece mostre de dovezi furnizate de API-ul Google Search și previziuni obținute prin confluarea elementelor, inclusiv vorbitor, etichete și categorii.

De multe ori, ștampila timpului relevantă nu este neapărat cea conținută în metadate; un articol poate face referire la evenimente din timpuri anterioare, și în acest caz sistemele cercetătorilor au trebuit să extragă și să convertească aceste date direct din text. Fără acest proces, o “reluare” a știrilor învechite va tend să le dea un nou aspect, în special în cazul site-urilor cu autoritate ridicată, propagând datele învechite.

Datele au fost extrase cu o rutină Python și datele oficiale de metadate au fost testate pentru consistența formatarea (deoarece, de exemplu, formatarea ștampilelor timpului diferă între SUA și Regatul Unit). La verificarea manuală, nu s-au găsit erori în metadatele ștampilelor timpului.

Rezultate

În comparație cu verificarea manuală a rezultatelor automate, cercetătorii au constatat că clasificarea dovezilor în funcție de timp a îmbunătățit semnificativ ipotezele de relevanță bazate pe similaritate semantică pură sau pe clasificările SERP. Ei afirmă, de asemenea, că metoda lor îmbunătățește previziunile veridicității pentru afirmații sensibile la timp (adică situații în care o situație de știri se schimbă rapid, și în care este esențial să se prioritizeze informații actualizate fără a forța pur și simplu prioritatea celor mai recente rezultate pe un subiect).

Cercetătorii notează că această abordare va fi de mare valoare pentru îmbunătățirea modelelor de clasificare pentru subiecte volatile, cum ar fi politica și divertismentul, unde informațiile se schimbă rapid, și dezvoltările de top necesită un cadru pentru demotarea automată din primele locuri în clasificare pe care le-au obținut la lansare.