Neue Studie versucht, Algorithmen zur Erkennung von Hassreden zu verbessern

Soziale Medienunternehmen, insbesondere Twitter, stehen seit langem in der Kritik, wie sie Reden kennzeichnen und entscheiden, welche Konten gesperrt werden. Das zugrunde liegende Problem hat fast immer mit den Algorithmen zu tun, die sie verwenden, um Online-Beiträge zu überwachen. Künstliche Intelligenz-Systeme sind bei dieser Aufgabe weit von perfekt entfernt, aber es wird ständig daran gearbeitet, sie zu verbessern.

Dazu gehört auch eine neue Studie der University of Southern California, die versucht, bestimmte Fehler zu reduzieren, die zu rassistischen Vorurteilen führen könnten.

Fehlende Kontexterkennung

Eines der Probleme, das nicht so viel Aufmerksamkeit erhält, hat mit Algorithmen zu tun, die darauf ausgelegt sind, die Verbreitung von Hassreden zu stoppen, aber tatsächlich rassistische Vorurteile verstärken. Dies geschieht, wenn die Algorithmen den Kontext nicht erkennen und stattdessen Tweets von Minderheitengruppen kennzeichnen oder blockieren.

Das größte Problem mit den Algorithmen in Bezug auf den Kontext ist, dass sie gegenüber bestimmten gruppenidentifizierenden Begriffen wie “schwarz”, “schwul” und “transgender” übersensibel sind. Die Algorithmen betrachten diese als Hassrede-Klassifizierer, aber sie werden oft von Mitgliedern dieser Gruppen verwendet und die Umgebung ist wichtig.

Um dieses Problem der Kontextblindheit zu lösen, erstellten die Forscher einen kontextsensibleren Hassrede-Klassifizierer. Der neue Algorithmus ist weniger wahrscheinlich, einen Beitrag fälschlicherweise als Hassrede zu kennzeichnen.

Der Algorithmus

Die Forscher entwickelten die neuen Algorithmen mit zwei neuen Faktoren im Sinn: dem Kontext in Bezug auf die Gruppenidentifikatoren und ob auch andere Merkmale von Hassreden in dem Beitrag vorhanden sind, wie entmenschlichende Sprache.

Brendan Kennedy ist ein Doktorand der Informatik und Co-Autor der Studie, die am 6. Juli auf der ACL 2020 veröffentlicht wurde.

“Wir wollen die Hassrede-Erkennung näher an die reale Anwendung heranbringen”, sagte Kennedy.

“Hassrede-Erkennungsmodelle ‘brechen’ oft, oder generieren schlechte Vorhersagen, wenn sie mit realen Daten wie sozialen Medien oder anderen Online-Texten konfrontiert werden, weil sie durch die Daten, mit denen sie trainiert werden, dazu neigen, das Auftauchen sozialer Identifikatoren mit Hassreden in Verbindung zu bringen.”

Der Grund, warum die Algorithmen oft ungenau sind, ist, dass sie auf unbalancierten Datenmengen mit extrem hohen Raten von Hassreden trainiert werden. Aufgrund dessen scheitern die Algorithmen daran, zu lernen, wie sie mit dem tatsächlichen Aussehen sozialer Medien in der realen Welt umgehen.

Professor Xiang ist Experte für natürliche Sprachverarbeitung.

“Es ist wichtig, dass Modelle Identifikatoren nicht ignorieren, sondern sie mit dem richtigen Kontext verbinden”, sagte Ren.

“Wenn Sie ein Modell aus einer unbalancierten Datenmenge trainieren, beginnt das Modell, seltsame Muster zu erkennen und Benutzer unangemessen zu blockieren.”

Um den Algorithmus zu testen, verwendeten die Forscher eine zufällige Stichprobe von Texten aus zwei sozialen Medien-Seiten, die eine hohe Rate von Hassreden aufweisen. Der Text wurde zunächst von Menschen als voreingenommen oder entmenschlichend gekennzeichnet. Das State-of-the-Art-Modell wurde dann mit dem Modell der Forscher verglichen, um nicht-hassrede-Beiträge unangemessen zu kennzeichnen, indem 12.500 New York Times-Artikel ohne Hassrede verwendet wurden. Während die State-of-the-Art-Modelle eine Genauigkeit von 77% bei der Erkennung von Hass- und Nicht-Hass-Beiträgen erreichten, lag das Modell der Forscher bei 90%.

“Diese Arbeit allein macht die Hassrede-Erkennung nicht perfekt, das ist ein riesiges Projekt, an dem viele arbeiten, aber sie macht inkrementelle Fortschritte”, sagte Kennedy.

“Neben der Verhinderung von sozialen Medien-Beiträgen von Mitgliedern geschützter Gruppen, die unangemessen zensiert werden, hoffen wir, dass unsere Arbeit dazu beitragen wird, sicherzustellen, dass die Hassrede-Erkennung keinen unnötigen Schaden anrichtet, indem sie willkürliche Assoziationen von Vorurteilen und Entmenschlichung mit sozialen Gruppen vermeidet.”