Arjun Narayan, Leiter Global Trust and Safety bei SmartNews – Interviewreihe

Arjun Narayan, ist Head of Global Trust and Safety für SmartNews Er ist eine Nachrichtenaggregator-App und außerdem Experte für KI-Ethik und Technologiepolitik. SmartNews nutzt KI und ein menschliches Redaktionsteam, um Nachrichten für die Leser zusammenzustellen.

Sie waren maßgeblich an der Einrichtung des Google-Hubs „Trust & Safety Asia Pacific“ in Singapur beteiligt. Welche wichtigen Lehren haben Sie aus dieser Erfahrung gezogen?

Beim Aufbau von Trust-and-Safety-Teams ist Fachwissen auf Länderebene von entscheidender Bedeutung, da Missbrauch je nach Land, das Sie regulieren, sehr unterschiedlich ist. Beispielsweise wurden Google-Produkte in Japan anders missbraucht als in Südostasien und Indien. Dies bedeutet, dass die Missbrauchsvektoren sehr unterschiedlich sind, je nachdem, wer missbraucht und in welchem ​​Land Sie ansässig sind. Es gibt also keine Homogenität. Das haben wir schon früh gelernt.

Ich habe auch gelernt, dass kulturelle Vielfalt beim Aufbau von Trust-and-Safety-Teams im Ausland unglaublich wichtig ist. Bei Google haben wir dafür gesorgt, dass bei den von uns eingestellten Mitarbeitern genügend kulturelle Vielfalt und Verständnis vorhanden sind. Wir waren auf der Suche nach Personen mit spezifischen Fachkenntnissen, aber auch mit Sprach- und Marktkenntnissen.

Ich fand auch das Eintauchen in die Kultur unglaublich wichtig. Wenn wir grenzüberschreitende Vertrauens- und Sicherheitsteams aufbauen, mussten wir sicherstellen, dass unsere Technik- und Geschäftsteams ineinander eintauchen können. Dies trägt dazu bei, dass jeder näher an den Problemen ist, die wir zu bewältigen versuchten. Zu diesem Zweck führten wir vierteljährlich Immersionssitzungen mit wichtigen Mitarbeitern durch, was dazu beitrug, den kulturellen IQ aller zu steigern.

Schließlich war das interkulturelle Verständnis so wichtig. Ich leitete ein Team in Japan, Australien, Indien und Südostasien, und die Art und Weise, wie sie interagierten, war völlig anders. Als Führungskraft möchten Sie sicherstellen, dass jeder seine Stimme finden kann. Letztendlich ist dies alles darauf ausgerichtet, ein leistungsstarkes Team aufzubauen, das sensible Aufgaben wie Vertrauen und Sicherheit ausführen kann.

Zuvor waren Sie auch im Trust & Safety-Team von ByteDance für die TikTok-Anwendung. Wie werden Videos, die oft kürzer als eine Minute sind, effektiv auf Sicherheit überwacht?

Ich möchte diese Frage etwas umformulieren, da es eigentlich keine Rolle spielt, ob ein Video kurz oder lang ist. Das spielt bei der Bewertung der Videosicherheit keine Rolle, und die Länge hat keinen wirklichen Einfluss darauf, ob ein Video Missbrauch verbreiten kann.

Wenn ich an Missbrauch denke, betrachte ich Missbrauch als „Probleme“. Für welche Probleme sind Benutzer anfällig? Fehlinformationen? Desinformation? Unabhängig davon, ob das Video eine Minute oder eine Stunde lang ist, werden immer noch Fehlinformationen weitergegeben und das Ausmaß des Missbrauchs bleibt vergleichbar.

Abhängig von der Art des Problems beginnen Sie, über Richtliniendurchsetzung und Sicherheitsleitplanken nachzudenken und darüber, wie Sie gefährdete Benutzer schützen können. Nehmen wir als Beispiel an, es gibt ein Video, in dem jemand zu sehen ist, der sich selbst verletzt. Wenn wir die Benachrichtigung erhalten, dass dieses Video existiert, müssen wir dringend handeln, denn jemand könnte ein Leben verlieren. Für diese Art der Erkennung sind wir stark auf maschinelles Lernen angewiesen. Der erste Schritt besteht darin, sich immer an die Behörden zu wenden, um zu versuchen, das Leben zu retten. Nichts ist wichtiger. Von dort aus wollen wir das Video, den Livestream oder das Format, in dem es geteilt wird, unterbrechen. Wir müssen sicherstellen, dass wir die Gefährdung durch solche schädlichen Inhalte so schnell wie möglich minimieren.

Auch wenn es sich um Hassrede handelt, gibt es verschiedene Möglichkeiten, dies zu entschlüsseln. Oder im Falle von Mobbing und Belästigung kommt es wirklich auf die Art des Problems an, und abhängig davon würden wir unsere Durchsetzungsoptionen und Sicherheitsleitplanken anpassen. Ein weiteres Beispiel für eine gute Sicherheitsleitplanke war die Implementierung von maschinellem Lernen, das erkennt, wenn jemand etwas Unangemessenes in den Kommentaren schreibt, und eine Aufforderung gibt, es sich zweimal zu überlegen, bevor man diesen Kommentar postet. Wir würden sie nicht unbedingt stoppen, aber unsere Hoffnung war, dass die Leute es sich zweimal überlegen würden, bevor sie etwas Gemeines teilen.

Es kommt auf eine Kombination aus maschinellem Lernen und Schlüsselwortregeln an. Aber wenn es um Livestreams ging, hatten wir auch menschliche Moderatoren, die die von der KI markierten Streams überprüften, damit sie sofort Bericht erstatten und Protokolle umsetzen konnten. Da sie in Echtzeit geschehen, reicht es nicht aus, sich auf die Meldungen der Benutzer zu verlassen, sondern wir müssen Menschen einsetzen, die die Ereignisse in Echtzeit überwachen.

Seit 2021 sind Sie Leiter für Vertrauen, Sicherheit und Kundenerlebnis bei SmartNews, einer Nachrichtenaggregator-App. Könnten Sie erläutern, wie SmartNews maschinelles Lernen und die Verarbeitung natürlicher Sprache nutzt, um hochwertige Nachrichteninhalte zu identifizieren und zu priorisieren?

Das zentrale Konzept besteht darin, dass wir über bestimmte „Regeln“ oder maschinelle Lerntechnologien verfügen, die einen Artikel oder eine Anzeige analysieren und verstehen können, worum es in diesem Artikel geht.

Immer wenn etwas gegen unsere „Regeln“ verstößt, beispielsweise etwas sachlich falsch oder irreführend ist, melden wir diesen Inhalt durch maschinelles Lernen einem menschlichen Prüfer in unserem Redaktionsteam. In diesem Stadium verstehen sie unsere redaktionellen Werte und können den Artikel schnell überprüfen und ein Urteil über seine Angemessenheit oder Qualität fällen. Von dort aus werden Maßnahmen zur Behebung des Problems ergriffen.

Wie nutzt SmartNews KI, um sicherzustellen, dass die Plattform sicher, inklusiv und objektiv ist?

SmartNews wurde unter der Prämisse gegründet, dass Hyperpersonalisierung gut für das Ego ist, uns aber auch alle polarisiert, indem sie Vorurteile verstärkt und Menschen in eine Filterblase steckt.

Die Art und Weise, wie SmartNews KI nutzt, ist etwas anders, da wir nicht ausschließlich auf Engagement optimieren. Unser Algorithmus möchte Sie verstehen, aber er passt sich nicht unbedingt Ihrem Geschmack an. Denn wir glauben an die Erweiterung der Perspektiven. Unsere KI-Engine stellt Ihnen Konzepte und Artikel vor, die über angrenzende Konzepte hinausgehen.

Die Idee dahinter ist, dass es Dinge gibt, die Menschen im öffentlichen Interesse wissen müssen, und dass es Dinge gibt, die Menschen wissen müssen, um ihren Wirkungsbereich zu erweitern. Das Gleichgewicht, das wir zu erreichen versuchen, besteht darin, diese kontextbezogenen Analysen bereitzustellen, ohne großbrüderig zu sein. Manchmal mögen die Leute die Dinge, die unser Algorithmus in ihren Feed einfügt, nicht. Wenn das passiert, können sich die Leute dafür entscheiden, diesen Artikel nicht zu lesen. Wir sind jedoch stolz auf die Fähigkeit der KI-Engine, Zufall, Neugier, wie auch immer Sie es nennen wollen, zu fördern.

Aus Sicherheitsgründen verfügt SmartNews über einen sogenannten „Publisher Score“, einen Algorithmus, der kontinuierlich bewertet, ob ein Herausgeber sicher ist oder nicht. Letztlich wollen wir feststellen, ob ein Verlag eine maßgebliche Stimme hat. Beispielsweise können wir uns alle einig sein, dass ESPN eine Autorität im Sport ist. Wenn Sie jedoch ein zufälliger Blog sind, der ESPN-Inhalte kopiert, müssen wir sicherstellen, dass ESPN einen höheren Rang einnimmt als dieser zufällige Blog. Der Publisher-Score berücksichtigt auch Faktoren wie Originalität, den Zeitpunkt der Veröffentlichung von Artikeln, das Aussehen von Nutzerrezensionen usw. Letztlich handelt es sich dabei um ein Spektrum vieler Faktoren, die wir berücksichtigen.

Eine Sache, die alles übertrumpft, ist: „Was möchte ein Benutzer lesen?“ Wenn ein Benutzer Clickbait-Artikel ansehen möchte, werden wir ihn nicht stoppen, es sei denn, dies ist illegal oder verstößt gegen unsere Richtlinien. Wir drängen dem Benutzer nicht auf, aber wenn etwas unsicher oder unangemessen ist, müssen wir die gebotene Sorgfalt walten lassen, bevor etwas in den Feed gelangt.

Was halten Sie davon, dass Journalisten generative KI nutzen, um sie bei der Produktion von Inhalten zu unterstützen?

Ich glaube, dass es sich bei dieser Frage um eine ethische Frage handelt, über die wir derzeit hier bei SmartNews diskutieren. Wie sollte SmartNews Verlage sehen, die Inhalte einreichen, die durch generative KI erstellt wurden, anstatt dass Journalisten diese schreiben?

Ich glaube, dass der Zug den Bahnhof offiziell verlassen hat. Heutzutage nutzen Journalisten KI, um ihre Texte zu verbessern. Es ist eine Funktion der Größe. Wir haben nicht die Zeit auf der Welt, Artikel in einem kommerziell rentablen Tempo zu produzieren, insbesondere da Nachrichtenorganisationen weiterhin Personal abbauen. Dann stellt sich die Frage: Wie viel Kreativität steckt darin? Ist der Artikel vom Journalisten aufpoliert? Oder ist der Journalist völlig abhängig?

Derzeit ist die generative KI nicht in der Lage, Artikel zu aktuellen Nachrichtenereignissen zu schreiben, da dafür keine Trainingsdaten vorliegen. Es kann Ihnen jedoch immer noch eine ziemlich gute generische Vorlage dafür bieten. Beispielsweise kommen Schießereien in Schulen so häufig vor, dass wir annehmen könnten, dass die generative KI einem Journalisten einen Hinweis auf Schießereien in einer Schule geben könnte und ein Journalist die betroffene Schule angeben könnte, um eine vollständige Vorlage zu erhalten.

Aus meiner Sicht bei der Arbeit mit SmartNews gibt es meiner Meinung nach zwei Grundsätze, die eine Überlegung wert sind. Erstens möchten wir, dass die Verlage uns an vorderster Front mitteilen, wann Inhalte durch KI generiert wurden, und wir möchten sie als solche kennzeichnen. Auf diese Weise werden die Leute beim Lesen des Artikels nicht darüber getäuscht, wer den Artikel geschrieben hat. Das ist Transparenz auf höchstem Niveau.

Zweitens möchten wir, dass dieser Artikel sachlich korrekt ist. Wir wissen, dass generative KI dazu neigt, Dinge nachzuholen, wenn sie will, und jeder Artikel, der von generativer KI verfasst wurde, muss von einem Journalisten oder einer Redaktion Korrektur gelesen werden.

Sie haben sich zuvor dafür ausgesprochen, dass sich Technologieplattformen zusammenschließen und gemeinsame Standards zur Bekämpfung digitaler Toxizität schaffen. Wie wichtig ist dieses Thema?

Ich glaube, dass dieses Thema von entscheidender Bedeutung ist, nicht nur für die ethische Geschäftstätigkeit von Unternehmen, sondern auch für die Aufrechterhaltung eines gewissen Maßes an Würde und Höflichkeit. Meiner Meinung nach sollten Plattformen zusammenkommen und bestimmte Standards entwickeln, um diese Menschlichkeit aufrechtzuerhalten. Beispielsweise sollte niemand dazu ermutigt werden, sich das Leben zu nehmen, aber in manchen Situationen finden wir diese Art von Missbrauch auf Plattformen, und ich glaube, dass Unternehmen sich zusammenschließen sollten, um sich davor zu schützen.

Wenn es um Probleme der Menschheit geht, darf es letztlich keine Konkurrenz geben. Es sollte nicht unbedingt einen Wettbewerb darum geben, wer die sauberste oder sicherste Community ist – wir alle sollten darauf abzielen, sicherzustellen, dass sich unsere Benutzer sicher und verstanden fühlen. Lassen Sie uns um Funktionen konkurrieren, nicht um Ausbeutung.

Wie können digitale Unternehmen zusammenarbeiten?

Unternehmen sollten zusammenkommen, wenn es gemeinsame Werte und die Möglichkeit einer Zusammenarbeit gibt. Es gibt immer Bereiche, in denen es zwischen Unternehmen und Branchen Intersektionalität gibt, insbesondere wenn es um die Bekämpfung von Missbrauch, die Gewährleistung der Höflichkeit auf Plattformen oder die Reduzierung der Polarisierung geht. Dies sind Momente, in denen Unternehmen zusammenarbeiten sollten.

Es gibt natürlich einen kommerziellen Aspekt des Wettbewerbs, und normalerweise ist der Wettbewerb gut. Es trägt dazu bei, Stärke und Differenzierung zwischen den Unternehmen sicherzustellen und liefert Lösungen mit einem Grad an Wirksamkeit, den Monopole nicht garantieren können.

Aber wenn es darum geht, Benutzer zu schützen, die Höflichkeit zu fördern oder Missbrauchsvektoren zu reduzieren, sind dies Themen, die für uns von zentraler Bedeutung sind, wenn es darum geht, die freie Welt zu bewahren. Dies sind Dinge, die wir tun müssen, um sicherzustellen, dass wir das schützen, was uns und unserer Menschlichkeit heilig ist. Meiner Meinung nach haben alle Plattformen die Verantwortung, bei der Verteidigung der menschlichen Werte und der Werte, die uns zu einer freien Welt machen, zusammenzuarbeiten.

Was sind Ihre aktuellen Ansichten zu verantwortungsvoller KI?

Wir stehen am Anfang von etwas, das unser Leben durchdringt. Diese nächste Phase der generativen KI ist ein Problem, das wir zum jetzigen Zeitpunkt noch nicht vollständig oder nur teilweise verstehen können.

Wenn es um verantwortungsvolle KI geht, ist es so unglaublich wichtig, dass wir starke Leitplanken entwickeln, sonst könnten wir am Ende ein Frankenstein-Monster generativer KI-Technologien haben. Wir müssen uns die Zeit nehmen, alles zu durchdenken, was schief gehen könnte. Ob es sich dabei um Voreingenommenheit handelt, die sich in die Algorithmen einschleicht, oder darum, dass große Sprachmodelle selbst von den falschen Leuten für schändliche Taten genutzt werden.

Die Technologie an sich ist nicht gut oder schlecht, aber sie kann von schlechten Menschen genutzt werden, um schlechte Dinge zu tun. Aus diesem Grund ist es so wichtig, Zeit und Ressourcen in KI-Ethiker zu investieren, um kontroverse Tests durchzuführen, um die Designfehler zu verstehen. Dies wird uns helfen zu verstehen, wie wir Missbrauch verhindern können, und ich denke, das ist wahrscheinlich der wichtigste Aspekt verantwortungsvoller KI.

Da KI noch nicht selbstständig denken kann, brauchen wir kluge Köpfe, die diese Vorgaben bei der Programmierung von KI aufbauen können. Der wichtige Aspekt, den es jetzt zu berücksichtigen gilt, ist das Timing – wir brauchen diese positiven Akteure, die diese Dinge JETZT tun, bevor es zu spät ist.

Im Gegensatz zu anderen Systemen, die wir in der Vergangenheit entworfen und gebaut haben, unterscheidet sich KI dadurch, dass sie selbstständig iterieren und lernen kann. Wenn Sie also keine strengen Leitlinien dafür aufstellen, was und wie sie lernt, können wir nicht kontrollieren, was daraus werden könnte .

Im Moment erleben wir, dass einige große Unternehmen im Zuge größerer Entlassungen Ethikausschüsse und verantwortliche KI-Teams entlassen. Es bleibt abzuwarten, wie ernst diese Tech-Majors die Technologie nehmen und wie ernst sie bei ihrer Entscheidungsfindung die möglichen Nachteile der KI berücksichtigen.

Gibt es noch etwas, das Sie über Ihre Arbeit mit Smartnews mitteilen möchten?

Ich bin SmartNews beigetreten, weil ich an seine Mission glaube, die Mission hat eine gewisse Reinheit. Ich bin fest davon überzeugt, dass die Welt immer polarisierter wird und es heute nicht mehr genug Medienkompetenz gibt, um diesem Trend entgegenzuwirken.

Leider gibt es zu viele Menschen, die WhatsApp-Nachrichten als Evangelium betrachten und sie für bare Münze nehmen. Das kann enorme Folgen haben, insbesondere auch Gewalt. Das alles läuft darauf hinaus, dass die Menschen nicht verstehen, was sie glauben können und was nicht.

Wenn wir die Menschen nicht aufklären oder sie nicht darüber informieren, wie sie Entscheidungen über die Vertrauenswürdigkeit dessen, was sie konsumieren, treffen können. Wenn wir keine Medienkompetenzniveaus einführen, um zwischen Nachrichten und Fake News zu unterscheiden, werden wir weiterhin für das Problem eintreten und die Themen verstärken, die uns die Geschichte lehrt, nicht zu tun.

Einer der wichtigsten Bestandteile meiner Arbeit bei SmartNews ist es, dazu beizutragen, die Polarisierung in der Welt zu verringern. Ich möchte die Mission des Gründers erfüllen, die Medienkompetenz zu verbessern, damit sie verstehen, was sie konsumieren, und sich eine fundierte Meinung über die Welt und die vielen unterschiedlichen Perspektiven bilden können.

Vielen Dank für das tolle Interview. Leser, die mehr erfahren oder eine andere Art von Nachrichten-App ausprobieren möchten, sollten vorbeischauen SmartNews.