Arjun Narayan, Leiter Global Trust and Safety bei SmartNews – Interviewreihe

Arjun Narayan, ist Head of Global Trust and Safety für SmartNews Er ist eine Nachrichtenaggregator-App und außerdem Experte für KI-Ethik und Technologiepolitik. SmartNews nutzt KI und ein menschliches Redaktionsteam, um Nachrichten für die Leser zusammenzustellen.

Sie waren maßgeblich an der Einrichtung des Trust & Safety-Hubs von Google für den Asien-Pazifik-Raum in Singapur beteiligt. Welche wichtigen Erkenntnisse haben Sie aus dieser Erfahrung gewonnen?

Beim Aufbau von Trust- und Safety-Teams ist länderspezifisches Fachwissen entscheidend, da Missbrauch je nach Land, für das die Regulierung gilt, sehr unterschiedlich ausfällt. So wurden Google-Produkte beispielsweise in Japan anders missbraucht als in Südostasien und Indien. Das bedeutet, dass die Missbrauchsvektoren je nach Missbrauchsquelle und Land sehr unterschiedlich sind. Es gibt also keine einheitlichen Richtlinien. Das haben wir schon früh gelernt.

Ich habe auch gelernt, dass kulturelle Vielfalt beim Aufbau von Trust-and-Safety-Teams im Ausland unglaublich wichtig ist. Bei Google haben wir dafür gesorgt, dass bei den von uns eingestellten Mitarbeitern genügend kulturelle Vielfalt und Verständnis vorhanden sind. Wir waren auf der Suche nach Personen mit spezifischen Fachkenntnissen, aber auch mit Sprach- und Marktkenntnissen.

Ich fand auch das Eintauchen in die Kultur unglaublich wichtig. Wenn wir grenzüberschreitende Vertrauens- und Sicherheitsteams aufbauen, mussten wir sicherstellen, dass unsere Technik- und Geschäftsteams ineinander eintauchen können. Dies trägt dazu bei, dass jeder näher an den Problemen ist, die wir zu bewältigen versuchten. Zu diesem Zweck führten wir vierteljährlich Immersionssitzungen mit wichtigen Mitarbeitern durch, was dazu beitrug, den kulturellen IQ aller zu steigern.

Schließlich war das interkulturelle Verständnis so wichtig. Ich leitete ein Team in Japan, Australien, Indien und Südostasien, und die Art und Weise, wie sie interagierten, war völlig anders. Als Führungskraft möchten Sie sicherstellen, dass jeder seine Stimme finden kann. Letztendlich ist dies alles darauf ausgerichtet, ein leistungsstarkes Team aufzubauen, das sensible Aufgaben wie Vertrauen und Sicherheit ausführen kann.

Zuvor waren Sie auch im Trust & Safety-Team von ByteDance für die TikTok-Anwendung. Wie werden Videos, die oft kürzer als eine Minute sind, effektiv auf Sicherheit überwacht?

Ich möchte diese Frage etwas umformulieren, da es eigentlich keine Rolle spielt, ob ein Video kurz oder lang ist. Das spielt bei der Bewertung der Videosicherheit keine Rolle, und die Länge hat keinen wirklichen Einfluss darauf, ob ein Video Missbrauch verbreiten kann.

Wenn ich an Missbrauch denke, betrachte ich Missbrauch als „Probleme“. Für welche Probleme sind Benutzer anfällig? Fehlinformationen? Desinformation? Unabhängig davon, ob das Video eine Minute oder eine Stunde lang ist, werden immer noch Fehlinformationen weitergegeben und das Ausmaß des Missbrauchs bleibt vergleichbar.

Je nach Art des Problems müssen Sie über die Durchsetzung von Richtlinien und Sicherheitsvorkehrungen nachdenken und darüber, wie Sie gefährdete Benutzer schützen können. Nehmen wir beispielsweise ein Video von jemandem, der sich selbst verletzt. Wenn wir eine Meldung über dieses Video erhalten, müssen wir umgehend handeln, da Menschenleben gefährdet sind. Bei dieser Art der Erkennung setzen wir stark auf maschinelles Lernen. Der erste Schritt besteht immer darin, die Behörden zu kontaktieren, um das Leben des Opfers zu retten – nichts ist wichtiger. Anschließend versuchen wir, das Video, den Livestream oder das Format, in dem es geteilt wird, zu sperren. Wir müssen sicherstellen, dass wir die Exposition gegenüber solchen schädlichen Inhalten so schnell wie möglich minimieren.

Auch bei Hassreden gibt es verschiedene Möglichkeiten, diese zu entlarven. Bei Mobbing und Belästigung kommt es stark auf die Art des Problems an. Je nachdem passen wir unsere Durchsetzungsmöglichkeiten und Sicherheitsvorkehrungen an. Ein weiteres Beispiel für eine gute Sicherheitsvorkehrung war die Implementierung von maschinellem Lernen. Dieses erkennt unangemessene Kommentare und gibt den Nutzern eine Warnung, damit sie es sich zweimal überlegen, bevor sie den Kommentar posten. Wir wollten die Nutzer nicht unbedingt davon abhalten, aber wir hofften, dass sie es sich zweimal überlegen würden, bevor sie etwas Gemeines teilen.

Es kommt auf eine Kombination aus maschinellem Lernen und Schlüsselwortregeln an. Aber wenn es um Livestreams ging, hatten wir auch menschliche Moderatoren, die die von der KI markierten Streams überprüften, damit sie sofort Bericht erstatten und Protokolle umsetzen konnten. Da sie in Echtzeit geschehen, reicht es nicht aus, sich auf die Meldungen der Benutzer zu verlassen, sondern wir müssen Menschen einsetzen, die die Ereignisse in Echtzeit überwachen.

Seit 2021 sind Sie Leiter für Vertrauen, Sicherheit und Kundenerlebnis bei SmartNews, einer Nachrichtenaggregator-App. Könnten Sie erläutern, wie SmartNews maschinelles Lernen und die Verarbeitung natürlicher Sprache nutzt, um hochwertige Nachrichteninhalte zu identifizieren und zu priorisieren?

Das zentrale Konzept besteht darin, dass wir über bestimmte „Regeln“ oder maschinelle Lerntechnologien verfügen, die einen Artikel oder eine Anzeige analysieren und verstehen können, worum es in diesem Artikel geht.

Wenn etwas gegen unsere „Regeln“ verstößt, also beispielsweise sachlich falsch oder irreführend ist, leiten wir den Inhalt mithilfe von maschinellem Lernen an einen menschlichen Prüfer in unserem Redaktionsteam weiter. Dieser versteht dann unsere redaktionellen Werte und kann den Artikel schnell prüfen und seine Angemessenheit oder Qualität beurteilen. Daraufhin werden entsprechende Maßnahmen ergriffen.

Wie nutzt SmartNews KI, um sicherzustellen, dass die Plattform sicher, inklusiv und objektiv ist?

SmartNews wurde unter der Prämisse gegründet, dass Hyperpersonalisierung gut für das Ego ist, uns aber auch alle polarisiert, indem sie Vorurteile verstärkt und Menschen in eine Filterblase steckt.

SmartNews nutzt KI anders, da wir nicht ausschließlich auf Engagement setzen. Unser Algorithmus möchte Sie verstehen, personalisiert Sie aber nicht unbedingt nach Ihrem Geschmack. Denn wir glauben an die Erweiterung von Perspektiven. Unsere KI-Engine führt Sie in Konzepte und Artikel ein, die über angrenzende Konzepte hinausgehen.

Die Idee dahinter ist, dass es Dinge gibt, die Menschen im öffentlichen Interesse wissen müssen, und dass es Dinge gibt, die Menschen wissen müssen, um ihren Wirkungsbereich zu erweitern. Das Gleichgewicht, das wir zu erreichen versuchen, besteht darin, diese kontextbezogenen Analysen bereitzustellen, ohne großbrüderig zu sein. Manchmal mögen die Leute die Dinge, die unser Algorithmus in ihren Feed einfügt, nicht. Wenn das passiert, können sich die Leute dafür entscheiden, diesen Artikel nicht zu lesen. Wir sind jedoch stolz auf die Fähigkeit der KI-Engine, Zufall, Neugier, wie auch immer Sie es nennen wollen, zu fördern.

Aus Sicherheitsgründen verfügt SmartNews über einen sogenannten „Publisher Score“, einen Algorithmus, der kontinuierlich bewertet, ob ein Herausgeber sicher ist oder nicht. Letztlich wollen wir feststellen, ob ein Verlag eine maßgebliche Stimme hat. Beispielsweise können wir uns alle einig sein, dass ESPN eine Autorität im Sport ist. Wenn Sie jedoch ein zufälliger Blog sind, der ESPN-Inhalte kopiert, müssen wir sicherstellen, dass ESPN einen höheren Rang einnimmt als dieser zufällige Blog. Der Publisher-Score berücksichtigt auch Faktoren wie Originalität, den Zeitpunkt der Veröffentlichung von Artikeln, das Aussehen von Nutzerrezensionen usw. Letztlich handelt es sich dabei um ein Spektrum vieler Faktoren, die wir berücksichtigen.

Eine Frage, die alles übertrumpft, ist: „Was möchte ein Nutzer lesen?“ Wenn ein Nutzer Clickbait-Artikel ansehen möchte, halten wir ihn nicht davon ab, sofern dies nicht illegal ist oder gegen unsere Richtlinien verstößt. Wir drängen den Nutzer nicht, aber wenn etwas unsicher oder unangemessen ist, prüfen wir es sorgfältig, bevor es in den Feed gelangt.

Was halten Sie davon, dass Journalisten generative KI nutzen, um sie bei der Produktion von Inhalten zu unterstützen?

Ich glaube, dass es sich bei dieser Frage um eine ethische Frage handelt, über die wir derzeit hier bei SmartNews diskutieren. Wie sollte SmartNews Verlage sehen, die Inhalte einreichen, die durch generative KI erstellt wurden, anstatt dass Journalisten diese schreiben?

Ich glaube, dieser Zug ist offiziell abgefahren. Journalisten nutzen heute KI, um ihre Texte zu verbessern. Das ist eine Frage der Größenordnung. Wir haben einfach nicht die Zeit, Artikel in wirtschaftlich rentabler Qualität zu produzieren, insbesondere da Nachrichtenorganisationen weiterhin Personal abbauen. Die Frage ist also: Wie viel Kreativität steckt dahinter? Wird der Artikel vom Journalisten selbst ausgefeilt? Oder ist er völlig auf die Arbeit angewiesen?

Generative KI ist derzeit nicht in der Lage, Artikel zu aktuellen Nachrichten zu schreiben, da hierfür keine Trainingsdaten vorliegen. Sie kann Ihnen jedoch eine recht gute generische Vorlage dafür liefern. Beispielsweise sind Schießereien an Schulen so häufig, dass man davon ausgehen könnte, dass generative KI einem Journalisten einen Hinweis zu Schießereien geben könnte. Dieser könnte dann die betroffene Schule eingeben, um eine vollständige Vorlage zu erhalten.

Aus meiner Sicht bei der Arbeit mit SmartNews gibt es zwei Prinzipien, die meiner Meinung nach bedenkenswert sind. Erstens möchten wir, dass die Herausgeber uns offen mitteilen, wann Inhalte von KI generiert wurden, und wir möchten sie als solche kennzeichnen. So werden die Leser des Artikels nicht über den Autor des Artikels in die Irre geführt. Das ist Transparenz auf höchstem Niveau.

Zweitens möchten wir, dass dieser Artikel sachlich korrekt ist. Wir wissen, dass generative KI dazu neigt, Dinge nachzuholen, wenn sie will, und jeder Artikel, der von generativer KI verfasst wurde, muss von einem Journalisten oder einer Redaktion Korrektur gelesen werden.

Sie haben sich zuvor dafür ausgesprochen, dass sich Technologieplattformen zusammenschließen und gemeinsame Standards zur Bekämpfung digitaler Toxizität schaffen. Wie wichtig ist dieses Thema?

Ich glaube, dass dieses Thema von entscheidender Bedeutung ist, nicht nur für die ethische Geschäftstätigkeit von Unternehmen, sondern auch für die Aufrechterhaltung eines gewissen Maßes an Würde und Höflichkeit. Meiner Meinung nach sollten Plattformen zusammenkommen und bestimmte Standards entwickeln, um diese Menschlichkeit aufrechtzuerhalten. Beispielsweise sollte niemand dazu ermutigt werden, sich das Leben zu nehmen, aber in manchen Situationen finden wir diese Art von Missbrauch auf Plattformen, und ich glaube, dass Unternehmen sich zusammenschließen sollten, um sich davor zu schützen.

Letztendlich sollte es bei den Problemen der Menschheit keinen Wettbewerb geben. Es sollte nicht einmal unbedingt darum gehen, wer die sauberste oder sicherste Community ist – unser aller Ziel sollte sein, dass sich unsere Nutzer sicher und verstanden fühlen. Lasst uns um Funktionen konkurrieren, nicht um Ausbeutung.

Wie können digitale Unternehmen zusammenarbeiten?

Unternehmen sollten zusammenkommen, wenn es gemeinsame Werte und die Möglichkeit einer Zusammenarbeit gibt. Es gibt immer Bereiche, in denen es zwischen Unternehmen und Branchen Intersektionalität gibt, insbesondere wenn es um die Bekämpfung von Missbrauch, die Gewährleistung der Höflichkeit auf Plattformen oder die Reduzierung der Polarisierung geht. Dies sind Momente, in denen Unternehmen zusammenarbeiten sollten.

Es gibt natürlich einen kommerziellen Aspekt des Wettbewerbs, und normalerweise ist der Wettbewerb gut. Es trägt dazu bei, Stärke und Differenzierung zwischen den Unternehmen sicherzustellen und liefert Lösungen mit einem Grad an Wirksamkeit, den Monopole nicht garantieren können.

Aber wenn es darum geht, Benutzer zu schützen, die Höflichkeit zu fördern oder Missbrauchsvektoren zu reduzieren, sind dies Themen, die für uns von zentraler Bedeutung sind, wenn es darum geht, die freie Welt zu bewahren. Dies sind Dinge, die wir tun müssen, um sicherzustellen, dass wir das schützen, was uns und unserer Menschlichkeit heilig ist. Meiner Meinung nach haben alle Plattformen die Verantwortung, bei der Verteidigung der menschlichen Werte und der Werte, die uns zu einer freien Welt machen, zusammenzuarbeiten.

Was sind Ihre aktuellen Ansichten zu verantwortungsvoller KI?

Wir stehen am Anfang einer tiefgreifenden Entwicklung in unserem Leben. Diese nächste Phase der generativen KI ist ein Problem, das wir derzeit noch nicht vollständig verstehen oder nur teilweise begreifen können.

Wenn es um verantwortungsvolle KI geht, ist es so unglaublich wichtig, dass wir starke Leitplanken entwickeln, sonst könnten wir am Ende ein Frankenstein-Monster generativer KI-Technologien haben. Wir müssen uns die Zeit nehmen, alles zu durchdenken, was schief gehen könnte. Ob es sich dabei um Voreingenommenheit handelt, die sich in die Algorithmen einschleicht, oder darum, dass große Sprachmodelle selbst von den falschen Leuten für schändliche Taten genutzt werden.

Die Technologie an sich ist nicht gut oder schlecht, aber sie kann von schlechten Menschen genutzt werden, um schlechte Dinge zu tun. Aus diesem Grund ist es so wichtig, Zeit und Ressourcen in KI-Ethiker zu investieren, um kontroverse Tests durchzuführen, um die Designfehler zu verstehen. Dies wird uns helfen zu verstehen, wie wir Missbrauch verhindern können, und ich denke, das ist wahrscheinlich der wichtigste Aspekt verantwortungsvoller KI.

Da KI noch nicht selbstständig denken kann, brauchen wir kluge Köpfe, die diese Vorgaben bei der Programmierung von KI aufbauen können. Der wichtige Aspekt, den es jetzt zu berücksichtigen gilt, ist das Timing – wir brauchen diese positiven Akteure, die diese Dinge JETZT tun, bevor es zu spät ist.

Im Gegensatz zu anderen Systemen, die wir in der Vergangenheit entworfen und gebaut haben, unterscheidet sich KI dadurch, dass sie selbstständig iterieren und lernen kann. Wenn Sie also keine strengen Leitlinien dafür aufstellen, was und wie sie lernt, können wir nicht kontrollieren, was daraus werden könnte .

Im Moment erleben wir, dass einige große Unternehmen im Zuge größerer Entlassungen Ethikausschüsse und verantwortliche KI-Teams entlassen. Es bleibt abzuwarten, wie ernst diese Tech-Majors die Technologie nehmen und wie ernst sie bei ihrer Entscheidungsfindung die möglichen Nachteile der KI berücksichtigen.

Gibt es noch etwas, das Sie über Ihre Arbeit mit Smartnews mitteilen möchten?

Ich bin SmartNews beigetreten, weil ich an die Mission glaube. Sie hat eine gewisse Reinheit. Ich bin fest davon überzeugt, dass die Welt zunehmend polarisiert wird und es heute nicht genügend Medienkompetenz gibt, um diesem Trend entgegenzuwirken.

Leider gibt es zu viele Menschen, die WhatsApp-Nachrichten als Evangelium betrachten und sie für bare Münze nehmen. Das kann enorme Folgen haben, insbesondere auch Gewalt. Das alles läuft darauf hinaus, dass die Menschen nicht verstehen, was sie glauben können und was nicht.

Wenn wir die Menschen nicht aufklären oder ihnen nicht sagen, wie sie über die Vertrauenswürdigkeit der von ihnen konsumierten Informationen entscheiden können, wenn wir keine Medienkompetenz einführen, um zwischen Nachrichten und Fake News zu unterscheiden, werden wir das Problem weiter befeuern und die Probleme verschärfen, die wir aus der Geschichte gelernt haben.

Einer der wichtigsten Bestandteile meiner Arbeit bei SmartNews ist es, dazu beizutragen, die Polarisierung in der Welt zu verringern. Ich möchte die Mission des Gründers erfüllen und die Medienkompetenz verbessern, damit die Menschen verstehen, was sie konsumieren, und sich eine fundierte Meinung über die Welt und die vielen unterschiedlichen Perspektiven bilden können.

Vielen Dank für das tolle Interview. Leser, die mehr erfahren oder eine andere Art von Nachrichten-App ausprobieren möchten, sollten vorbeischauen SmartNews.