Odsouvání zastaralých „pravd“ pomocí strojového učení

Někdy pravda má datum expirace. Když se v žebříčcích vyhledávačů objeví časově omezený nárok (jako „roušky jsou povinné ve veřejné dopravě“), jeho zdánlivá „autoritativní“ řešení může zůstat déle, než by mělo, a dokonce i mnoho let, a překonává pozdější a přesnější obsah na stejném tématu.

To je vedlejší produkt algoritmů vyhledávačů, které se snaží identifikovat a propagovat „dlouhodobá“ definitivní řešení, a jejich tendence dávat přednost dobře propojenému obsahu, který si udržuje provoz po dlouhou dobu – a jejich stále obezřetnějšího postoje k novému obsahu v éře fake news.

Na druhé straně, snižování hodnoty cenného webového obsahu pouze kvůli tomu, že časový údaj spojený s ním překročil určitý „okno platnosti“, riskuje, že bude automaticky odsunuto ve prospěch pozdějšího materiálu, který může být nižší kvality.

Za účelem nápravy tohoto syndromu byl zveřejněn nový článek od výzkumníků v Itálii, Belgii a Dánsku, kteří použili řadu technik strojového učení k vývoji metodiky pro časově aware evidence ranking.

Mimo zastaralé odpovědi

Článek je autorsky podepsán výzkumníky z Evropského komise v Joint Research Centre (JRC) v Ispra, Katholieke Universiteit v Leuven a Univerzity v Kodani.

Práce zvažuje čtyři časové metody řazení aplikované na tři metody fact-checkingu, každou s jiným přístupem k řazení důkazů, a nabízí novou metodiku pro řazení, která používá časové razítko důkazů jako „zlatý standard“. Studie ukazuje, že časově aware evidence ranking zlepšuje přesnost výsledků a také zlepšuje autoritu a pravdivost předpovědí časově citlivých faktů a nároků.

Výzkum je nabízen jako možný doplněk pozdějších nebo existujících systémů a je navržen tak, aby pomáhal ve výzkumu, a jako možný další faktor pro zařazení do vývoje nových a vylepšených algoritmů vyhledávačů.

Práce modeluje časovou dynamiku důkazů pro obsahově založený fact-checking a překonává „sémantickou podobnost“ přístupy typických algoritmů vyhledávačů. Model, který byl vyškolován výzkumníky, používá optimalizovanou learning-to-rank funkci, která může být snadno superponována do existujícího fact-checking architektury. Výzkumníci tvrdí, že systém je novým příspěvkem k automatizovanému fact-checkingu.

Úprava více architektur fact-checkingu

Výzkumníci aplikovali své časově omezené faktoring na tři existující architektury fact-checkingu. První z nich je model Bidirectional Long Short Term Memory (BiLSTM) navržen v MultiFC dataset vydaném v roce 2019.

Druhý je modifikace prvního, s unidirekcionálním Recurrent Neural Network (RNN) nahrazujícím komponentu LSTM.

Třetí model, který výzkumníci použili, je DistilBERT transformer z knihovny Hugging Faces, destilovaná verze modelu BERT NLP.

Přes všechny tři architektury výzkumníci aplikovali ListMLE loss, z výzkumu vedeného Microsoftem, který přispěl konzistentně k novému fact-checking výzkumu za posledních dvě desetiletí.

Dva primární modely fact-checkingu, kterým výzkumný tým přidělil časovou komponentu jako filtr pro autoritu a následné řazení hodnot. Zdroj: https://arxiv.org/pdf/2009.06402.pdf

Časová razítka byla extrahována z trénovací metadata a zahrnuta jako řazení faktory v každém modelu.

Testování

Experimentální hodnocení systému zahrnovalo použití datasetu MultiFC, protože je to目前 jediný otevřený zdroj dataset pro tento konkrétní výzkumný zájem. MultiFC obsahuje 34 924 reálných nároků získaných z 26 různých domén fact-checkingu, včetně Snopes a Washington Post.

Předpověď pravdivosti každého nároku je doplněna deseti důkazními ukázkami poskytnutými API Google Search, a předpovědi získané pomocí konfluence prvků, včetně mluvčího, značek a kategorií.

Často je relevantní časové razítko není nutně to, které je obsaženo v metadata; článek může odkazovat na události z předchozích časů, a v tomto případě musely systémy výzkumníků pečlivě extrahovat a převést tato data přímo z textu. Bez tohoto procesu by „opětovné spuštění“ zastaralých zpráv mohlo dát jim nový lesk, zejména v případě autoritativních stránek, propagujících zastaralá data.

Data byla extrahována pomocí Python rutiny, a oficiální metadata data byla testována na konzistenci formátování (protože, například, US a UK datum formátování je jiné). Při manuálním ověření nebyly nalezeny žádné chyby v časovém razítku metadata.

Výsledky

Proti manuální kontrole automatizovaných výsledků výzkumníci zjistili, že časově aware evidence ranking zlepšuje podstatně relevanci předpokladů založených na čistě sémantické podobnosti nebo SERPs řazení. Také zjistili, že jejich metoda zlepšuje předpovědi pravdivosti pro časově citlivé nároky (tj. okolnosti, kdy se zpravodajská situace může měnit rychle, a kdy je důležité, aby byla prioritizována aktuální informace bez pouhého brute-forcingu prioritizace nejnovějších výsledků na téma).

Výzkumníci note, že tento přístup bude mít vysokou hodnotu při zlepšování modelů řazení pro nestálá témata, jako je politika a zábava, kde se informace mění rychle, a vysoké řazení vyžaduje rámec pro automatické odsouvání z nejvyšších míst v řazení, kterého dosáhly při vydání.