Odsunięcie przestarzałych “prawd” za pomocą uczenia maszynowego

Czasami prawda ma datę ważności. Kiedy pojawia się ograniczona w czasie twierdzenie (takie jak “maseczki są obowiązkowe w transporcie publicznym”) w wynikach wyszukiwania, jego pozornie “autorytatywne” rozwiązanie może pozostać zbyt długo, nawet przez wiele lat, wyprzedzając późniejsze i bardziej dokładne treści na ten sam temat.

Jest to efekt uboczny algorytmów wyszukiwarki, które starają się identyfikować i promować “długoterminowe” rozwiązania ostateczne, oraz ich skłonności do priorytetowego traktowania dobrze powiązanych treści, które utrzymują ruch w czasie – oraz coraz bardziej ostrożnego podejścia do nowszych treści w erze fałszywych wiadomości.

Z drugiej strony, dewaluacja cennych treści internetowych tylko dlatego, że przypisany do nich znacznik czasu przekroczył arbitralnie ustalony “okres ważności”, naraża na to, że całe pokolenie naprawdę użytecznych treści zostanie automatycznie obniżone w rankingu na rzecz późniejszych materiałów, które mogą być gorszej jakości.

W celu zaradzenia temu zjawisku, nowy artykuł autorstwa badaczy z Włoch, Belgii i Danii wykorzystuje różne techniki uczenia maszynowego do opracowania metodyki świadomej czasu oceny dowodów.

Poza przestarzałymi odpowiedziami

Artykuł został napisany przez badaczy z Europejskiej Komisji w Centrum Badań Joint Research Centre (JRC) w Ispra, Katholieke Universiteit w Leuven i Uniwersytetu w Kopenhadze.

Praca rozważa cztery metody rankingowe w czasie, zastosowane w trzech metodach weryfikacji faktów, z których każda ma inny podejście do oceny dowodów, i oferuje nową metodykę rankingową, która wykorzystuje znaczniki czasu dowodów jako “złoty standard”. Badanie pokazuje, że świadoma czasu ocena dowodów poprawia trafność wyników i również poprawia przewidywania autoryzacji i prawdziwości faktów i twierdzeń wrażliwych na czas.

Badanie jest oferowane jako możliwe uzupełnienie późniejszych lub istniejących systemów i jest przeznaczone do pomocy w badaniach, oraz jako możliwy dodatkowy czynnik do uwzględnienia przy tworzeniu nowych i rozwiniętych algorytmów wyszukiwarki.

Praca modeluje dynamikę czasową dowodów dla weryfikacji faktów opartych na treści, i przewyższa “podobieństwo semantyczne” podejścia przyjęte przez typowe algorytmy rankingowe wyszukiwarki. Model opracowany przez badaczy wykorzystuje zoptymalizowaną funkcję uczenia rankingowego, która może być łatwo nałożona na istniejącą architekturę weryfikacji faktów. Badacze twierdzą, że system jest nowym wkładem w automatyczną weryfikację faktów.

Zmiana wielu architektur weryfikacji faktów

Badacze nałożyli swoje czasowo ograniczone czynniki na trzy istniejące architektury weryfikacji faktów. Pierwsza z nich to model Bidirectional Long Short Term Memory (BiLSTM) zaproponowany w MultiFC dataset wydanym w 2019 roku.

Druga to modyfikacja pierwszej, z jednoskierunkową siecią rekurencyjną (RNN) zastępującą składnik LSTM.

Trzeci model, który badacze wykorzystali, to DistilBERT transformer z biblioteki Hugging Faces, wyodrębniona wersja modelu BERT NLP.

Przez wszystkie trzy architektury, badacze zastosowali ListMLE loss, z badań kierowanych przez firmę Microsoft, które konsekwentnie przyczyniły się do nowych badań nad weryfikacją faktów w ciągu ostatnich dwóch dekad.

Dwa podstawowe modele weryfikacji faktów, do których zespół badawczy dodał składnik czasowy jako filtr dla autoryzacji i późniejszych wartości rankingowych. Źródło: https://arxiv.org/pdf/2009.06402.pdf

Wartości znaczników czasu zostały wyodrębnione z metadanych szkoleniowych i uwzględnione jako czynniki rankingowe w każdym modelu.

Testowanie

Ewaluacja eksperymentalna systemu obejmowała użycie zestawu danych MultiFC, ponieważ jest to obecnie jedyny duży, otwarty zestaw danych dostępny dla tego konkretnego zainteresowania badawczego. MultiFC zawiera 34 924 prawdziwe twierdzenia uzyskane z 26 różnych domen weryfikacji faktów, w tym Snopes i The Washington Post.

Przewidywanie prawdziwości każdego twierdzenia jest uzupełnione przez dziesięć fragmentów dowodów dostarczonych przez interfejs API wyszukiwania Google, oraz przewidywania uzyskane za pomocą połączenia elementów, w tym mówcy, tagów i kategorii.

Często odpowiedni znacznik czasu nie jest koniecznie tym, który jest zawarty w metadanych; artykuł może odnosić się do wydarzeń z poprzednich czasów, i w tym przypadku systemy badaczy musiały zadbać o wyodrębnienie i przekształcenie tych danych bezpośrednio z tekstu. Bez tego procesu, “ponowne uruchomienie” przestarzałych wiadomości będzie tendencją do nadania im nowego wyglądu, szczególnie w przypadku stron o wysokiej autoryzacji, propagując przestarzałe dane.

Datę wyodrębniono za pomocą rutyny Python, a oficjalne metadane dat sprawdzono pod kątem spójności formatowania (ponieważ, na przykład, formaty dat amerykańskie i brytyjskie są różne). Podczas ręcznej weryfikacji, nie znaleziono żadnych błędów w metadanych znaczników czasu.

Wyniki

W porównaniu z ręczną weryfikacją wyników automatycznych, badacze stwierdzili, że świadoma czasu ocena dowodów znacznie poprawiła trafność założeń opartych na czystej podobieństwie semantycznym lub rankingach SERPs. Stwierdzili również, że ich metoda poprawia przewidywania prawdziwości twierdzeń wrażliwych na czas (tj. okoliczności, w których sytuacja medialna może się szybko zmieniać, i w których niezwykle ważne jest priorytetowe traktowanie najnowszych informacji bez zmuszania do priorytetowego traktowania najnowszych wyników na dany temat).

Badacze zauważają, że ten podejście będzie miało wysoką wartość w poprawie modeli rankingowych dla tematów o dużej zmienności, takich jak polityka i rozrywka, gdzie informacje zmieniają się szybko, i gdzie wysoko oceniane rozwoje wymagają ramy dla automatycznego obniżania z najwyższych miejsc w rankingu, które mogły one osiągnąć po wydaniu.