Statystyczny model pomaga wykrywać dezinformację w mediach społecznościowych

Profesor matematyki z American University, wraz ze swoim zespołem współpracowników, opracował statystyczny model, który może wykrywać dezinformację w postach na mediach społecznościowych.

Nauka maszynowa jest coraz częściej wykorzystywana do powstrzymania rozprzestrzeniania się dezinformacji, ale nadal istnieje duże wyzwanie związane z problemem czarnych skrzynek, które występują. Odnosi się to do sytuacji, w której badacze nie rozumieją, w jaki sposób maszyna dochodzi do tej samej decyzji co ludzcy trenerzy.

Wykrywanie dezinformacji za pomocą modeli statystycznych

Zois Boukouvalas, asystent profesora w Departamencie Matematyki i Statystyki AU, wykorzystał zestaw danych z Twittera z postami zawierającymi dezinformację na temat COVID-19, aby pokazać, jak modele statystyczne mogą wykrywać dezinformację w mediach społecznościowych podczas dużych wydarzeń, takich jak pandemia lub katastrofa.

Boukouvalas i jego współpracownicy, w tym studentka AU Caitlin Moroney i profesor nauki komputerowej Nathalie Japkowicz, pokazali, jak decyzje modelu są zgodne z decyzjami ludzkimi w opublikowanych badaniach.

“Chcielibyśmy wiedzieć, co myśli maszyna, gdy podejmuje decyzje, i jak oraz dlaczego zgadza się z ludźmi, którzy ją trenowali”, powiedział Boukouvalas. “Nie chcemy zablokować kogoś konta w mediach społecznościowych, ponieważ model podejmuje tendencyjną decyzję.”

Metoda stosowana przez zespół jest rodzajem nauki maszynowej, która opiera się na statystyce. Modele statystyczne są skuteczne i zapewniają inny sposób walki z dezinformacją.

Model osiągnął wysoką wydajność predykcyjną i sklasyfikował zestaw testowy 112 prawdziwych i fałszywych postów z dokładnością prawie 90%.

“To, co jest istotne w tym odkryciu, to fakt, że nasz model osiągnął dokładność, jednocześnie oferując przejrzystość, w jaki sposób wykrywał posty zawierające dezinformację”, kontynuował Boukouvalas. “Metody głębokiego uczenia nie mogą osiągnąć takiej dokładności z przejrzystością.”

Szkolenie i przygotowanie modelu

Badacze przygotowali model do szkolenia przed przetestowaniem go na zestawie danych, ponieważ informacje dostarczane przez ludzi mogą wprowadzać tendencyjność i czarne skrzynki.

Posty były oznaczone przez badaczy jako prawdziwe lub fałszywe na podstawie zestawu wcześniej ustalonych reguł dotyczących języka używanego w dezinformacji. Zespół brał również pod uwagę niuanse języka ludzkiego i cechy językowe związane z dezinformacją.

Przed szkoleniem modelu, profesor socjolingwistyki Christine Mallinson z University of Maryland Baltimore County zidentyfikował posty o stylach pisarskich związanych z dezinformacją, tendencyjnością i mniej wiarygodnymi źródłami w mediach.

“Gdy dodajemy te dane do modelu, stara się on zrozumieć podstawowe czynniki, które prowadzą do rozdzielenia dobrych i złych informacji”, powiedziała Japkowicz. “Uczy się kontekstu i jak słowa ze sobą interaktywnie.”

Badacze będą teraz starać się poprawić interfejs użytkownika modelu, a także jego zdolność do wykrywania dezinformacji w postach na mediach społecznościowych, które zawierają obrazy lub inne multimedia. Model statystyczny będzie musiał nauczyć się, jak różne elementy interaktywnie tworzą dezinformację.

Zarówno Boukouvalas, jak i Japkowicz twierdzą, że inteligencja ludzka i umiejętności medialne są kluczem do powstrzymania rozprzestrzeniania się dezinformacji.

“Poprzez naszą pracę, projektujemy narzędzia oparte na nauce maszynowej, aby ostrzegać i edukować publiczność w celu wyeliminowania dezinformacji, ale mocno wierzymy, że ludzie muszą odegrać aktywną rolę w nierozprzestrzenianiu dezinformacji od samego początku”, powiedział Boukouvalas.