Model statystyczny pomaga wykrywać dezinformację w mediach społecznościowych

Profesor matematyki z American University, wraz ze swoim zespołem współpracowników, opracował model statystyczny, który może wykrywać dezinformację w postach na mediach społecznościowych.

Nauka maszynowa jest coraz częściej wykorzystywana do powstrzymania rozprzestrzeniania się dezinformacji, ale nadal istnieje duże przeszkoda związana z problemem czarnych skrzynek, które występują. Odnosi się to do sytuacji, w której badacze nie rozumieją, w jaki sposób maszyna dochodzi do tej samej decyzji co ludzcy trenerzy.

Wykrywanie dezinformacji za pomocą modeli statystycznych

Zois Boukouvalas, asystent profesora w Departamencie Matematyki i Statystyki AU, wykorzystał zestaw danych z Twittera z dezinformacyjnymi tweetami na temat COVID-19, aby pokazać, jak modele statystyczne mogą wykrywać dezinformację w mediach społecznościowych podczas dużych wydarzeń, takich jak pandemia lub katastrofa.

Boukouvalas i jego współpracownicy, w tym studentka AU Caitlin Moroney i profesor informatyki Nathalie Japkowics, pokazali, jak decyzje modelu są zgodne z decyzjami ludzkimi w opublikowanych badaniach.

“Chcielibyśmy wiedzieć, co myśli maszyna, gdy podejmuje decyzje, i jak oraz dlaczego zgadza się z ludźmi, którzy ją trenowali”, powiedział Boukouvalas. “Nie chcemy zablokować kogoś konta w mediach społecznościowych, ponieważ model podejmuje tendencyjną decyzję”.

Metoda stosowana przez zespół jest rodzajem nauki maszynowej, która opiera się na statystyce. Modele statystyczne są skuteczne i zapewniają inny sposób walki z dezinformacją.

Model osiągnął wysoką wydajność predykcyjną i sklasyfikował zestaw testowy 112 prawdziwych i dezinformacyjnych tweetów z dokładnością prawie 90%.

“To, co jest istotne w tym odkryciu, to to, że nasz model osiągnął dokładność, oferując jednocześnie przejrzystość, w jaki sposób wykrył tweety, które były dezinformacją”, kontynuował Boukouvalas. “Metody głębokiego uczenia nie mogą osiągnąć tego rodzaju dokładności z przejrzystością”.

Szkolenie i przygotowanie modelu

Badacze przygotowali model do szkolenia przed przetestowaniem go na zestawie danych, ponieważ informacje dostarczane przez ludzi mogą wprowadzać tendencyjność i czarne skrzynki.

Tweety zostały oznaczone przez badaczy jako dezinformacja lub prawdziwe na podstawie zestawu predefiniowanych reguł dotyczących języka używanego w dezinformacji. Zespół brał również pod uwagę niuanse języka ludzkiego i cechy językowe związane z dezinformacją.

Przed szkoleniem modelu, socio-lingwistka profesor Christine Mallinson z University of Maryland Baltimore County zidentyfikowała tweety z stylami pisarskimi związanymi z dezinformacją, tendencyjnością i mniej wiarygodnymi źródłami w mediach.

“Gdy dodajemy te dane do modelu, próbuje on zrozumieć podstawowe czynniki, które prowadzą do rozdziału dobrych i złych informacji”, powiedziała Japkowicz. “Uczy się kontekstu i tego, jak słowa ze sobą współdziałają”.

Badacze będą teraz starali się udoskonalić interfejs użytkownika modelu, a także jego zdolność do wykrywania dezinformacji w postach na mediach społecznościowych, które zawierają obrazy lub inne multimedia. Model statystyczny będzie musiał nauczyć się, jak różne elementy współdziałają ze sobą, tworząc dezinformację.

Zarówno Boukouvalas, jak i Japkowicz mówią, że inteligencja ludzka i umiejętność czytania informacji są kluczem do powstrzymania rozprzestrzeniania się dezinformacji.

“Poprzez naszą pracę, projektujemy narzędzia oparte na nauce maszynowej, aby ostrzegać i edukować publiczność w celu wyeliminowania dezinformacji, ale silnie wierzymy, że ludzie muszą odegrać aktywną rolę w nierozprzestrzenianiu dezinformacji od samego początku”, powiedział Boukouvalas.