Arjun Narayan, Leiter des Global Trust und Safety bei SmartNews – Interviewreihe

Arjun Narayan, ist der Leiter des Global Trust und Safety bei SmartNews, einer Nachrichten-Aggregator-App, und er ist auch ein Experte für KI-Ethik und Tech-Politik. SmartNews verwendet KI und ein menschliches Redaktionsteam, um Nachrichten für Leser zu aggregieren.

Sie haben maßgeblich dazu beigetragen, den Trust- und Safety-Asia-Pazifik-Hub von Google in Singapur zu etablieren. Welche Schlüsselerkenntnisse haben Sie aus dieser Erfahrung gewonnen?

Bei der Aufbau von Trust- und Safety-Teams ist Landesspezifisches Wissen entscheidend, da Missbrauch sehr unterschiedlich ist, je nachdem, welches Land man reguliert. Zum Beispiel wurde Google (GOOGL ) -Produkte in Japan anders missbraucht als in Südostasien und Indien. Dies bedeutet, dass Missbrauchsvektoren sehr unterschiedlich sind, je nachdem, wer den Missbrauch begeht und in welchem Land man ansässig ist; es gibt also keine Homogenität. Das war etwas, das wir früh gelernt haben.

Ich habe auch gelernt, dass kulturelle Vielfalt bei der Aufbau von Trust- und Safety-Teams im Ausland unglaublich wichtig ist. Bei Google haben wir unsergewiss, dass es genügend kulturelle Vielfalt und Verständnis innerhalb der Menschen gab, die wir eingestellt haben. Wir suchten nach Menschen mit spezifischer Domänenexpertise, aber auch nach Sprach- und Markenexpertise.

Ich fand auch kulturelle Immersion unglaublich wichtig. Wenn wir Trust- und Safety-Teams über Grenzen hinweg aufbauen, müssen wir sicherstellen, dass unsere Ingenieur- und Geschäftsteams sich einlassen können. Dies hilft sicherzustellen, dass jeder näher an den Problemen ist, die wir zu bewältigen versuchen. Um dies zu tun, haben wir quartalsweise Immersionssitzungen mit Schlüsselpersonal durchgeführt, und das half, jedermanns kulturelles IQ zu erhöhen.

Schließlich war cross-kulturelles Verständnis so wichtig. Ich leitete ein Team in Japan, Australien, Indien und Südostasien, und die Art und Weise, wie sie interagierten, war wild unterschiedlich. Als Leiter möchte man sicherstellen, dass jeder seine Stimme finden kann. Letztendlich ist all dies darauf ausgelegt, ein Hochleistungsteam aufzubauen, das sensible Aufgaben wie Trust und Safety ausführen kann.

Zuvor waren Sie auch im Trust- und Safety-Team bei ByteDance für die TikTok-Anwendung. Wie werden Videos, die oft kürzer als eine Minute sind, effektiv auf Sicherheit überwacht?

Ich möchte diese Frage ein wenig umformulieren, denn es spielt keine Rolle, ob ein Video kurz oder lang ist. Das ist kein Faktor, wenn wir die Sicherheit von Videos bewerten, und die Länge hat keinen Einfluss darauf, ob ein Video Missbrauch verbreiten kann.

Wenn ich an Missbrauch denke, denke ich an “Probleme”. Welche Probleme sind Benutzer anfällig für? Fehlinformationen? Desinformation? Ob das Video eine Minute oder eine Stunde lang ist, gibt es immer noch Fehlinformationen, die verbreitet werden, und das Ausmaß des Missbrauchs bleibt vergleichbar.

Je nach Art des Problems denkt man über die Durchsetzung von Richtlinien und Sicherheitsvorkehrungen nach und darüber, wie man schutzbedürftige Benutzer schützen kann. Als Beispiel sei ein Video von jemandem, der Selbstmord begeht. Wenn wir eine Benachrichtigung über das Vorhandensein dieses Videos erhalten, müssen wir mit Dringlichkeit handeln, da jemand sein Leben verlieren könnte. Wir verlassen uns stark auf maschinelles Lernen, um diese Art von Erkennung durchzuführen. Der erste Schritt ist immer, die Behörden zu kontaktieren, um zu versuchen, das Leben zu retten, nichts ist wichtiger. Von dort aus zielen wir darauf ab, das Video, den Livestream oder was auch immer zu suspendieren, in dem es geteilt wird. Wir müssen sicherstellen, dass wir die Aussetzung an schädlichem Inhalt so schnell wie möglich minimieren.

Ebenso, wenn es Hassrede ist, gibt es unterschiedliche Wege, dies zu entpacken. Oder im Falle von Mobbing und Belästigung hängt es wirklich vom Art des Problems ab, und je nachdem würden wir unsere Durchsetzungs- und Sicherheitsvorkehrungen anpassen. Ein weiteres Beispiel für eine gute Sicherheitsvorkehrung war, dass wir maschinelles Lernen implementiert haben, das erkennen kann, wenn jemand etwas Unangemessenes in den Kommentaren schreibt, und einen Hinweis geben, um sie zum Nachdenken zu bringen, bevor sie diesen Kommentar posten. Wir würden sie nicht unbedingt stoppen, aber unsere Hoffnung war, dass die Leute zweimal überlegen, bevor sie etwas Gemeines teilen.

Es kommt letztendlich auf eine Kombination aus maschinellem Lernen und Schlüsselregeln an. Aber wenn es um Livestreams geht, hatten wir auch menschliche Moderatoren, die die Streams überwachten, die von der KI gekennzeichnet wurden, damit sie sofort melden und Protokolle umsetzen konnten. Da sie in Echtzeit passieren, reicht es nicht aus, sich auf Benutzerberichte zu verlassen, also benötigen wir menschliche Überwachung in Echtzeit.

Seit 2021 sind Sie der Leiter von Trust, Safety und Kundenerfahrung bei SmartNews, einer Nachrichten-Aggregator-App. Können Sie erläutern, wie SmartNews maschinelles Lernen und natürliche Sprachverarbeitung nutzt, um hochwertige Nachrichteninhalte zu identifizieren und zu priorisieren?

Das zentrale Konzept ist, dass wir bestimmte “Regeln” oder maschinelle Lern-Technologie haben, die einen Artikel oder eine Anzeige parsen und verstehen können, worum es geht.

Wenn es etwas gibt, das unsere “Regeln” verletzt, zum Beispiel wenn etwas tatsächlich falsch oder irreführend ist, haben wir maschinelles Lernen, das diesen Inhalt einem menschlichen Rezensenten auf unserem Redaktionsteam zuweist. Auf diesem Stadium versteht der Rezensent unsere redaktionellen Werte und kann den Artikel schnell überprüfen und eine Entscheidung über seine Angemessenheit oder Qualität treffen. Von dort aus werden Maßnahmen ergriffen, um es anzugehen.

Wie nutzt SmartNews KI, um sicherzustellen, dass die Plattform sicher, inklusiv und objektiv ist?

SmartNews wurde auf dem Prinzip gegründet, dass Hyper-Personalisierung gut für das Ego ist, aber auch polarisierend wirkt, indem sie Vorurteile verstärkt und Menschen in eine Filterblase setzt.

Die Art und Weise, wie SmartNews KI nutzt, ist ein wenig anders, da wir nicht ausschließlich auf Engagement optimieren. Unser Algorithmus will Sie verstehen, aber er personalisiert nicht unbedingt Ihren Geschmack. Das liegt daran, dass wir an die Erweiterung von Perspektiven glauben. Unser KI-Engine wird Ihnen Konzepte und Artikel vorstellen, die über angrenzende Konzepte hinausgehen.

Die Idee ist, dass es Dinge gibt, die Menschen im öffentlichen Interesse wissen müssen, und es gibt Dinge, die Menschen wissen müssen, um ihre Perspektive zu erweitern. Die Balance, die wir zu schlagen versuchen, ist, diese kontextuellen Analysen bereitzustellen, ohne big brotherlich zu sein. Manchmal werden Menschen die Dinge, die unser Algorithmus in ihren Feed einfügt, nicht mögen. Wenn das passiert, können Menschen wählen, den Artikel nicht zu lesen. Wir sind jedoch stolz auf die Fähigkeit unseres KI-Engines, Serendipität, Neugier, was auch immer man es nennen will, zu fördern.

Auf der Sicherheitsseite hat SmartNews etwas, das als “Publisher-Score” bezeichnet wird, dies ist ein Algorithmus, der ständig bewertet, ob ein Herausgeber sicher ist oder nicht. Letztendlich möchten wir feststellen, ob ein Herausgeber eine autoritative Stimme hat. Als Beispiel können wir alle kollektiv zustimmen, dass ESPN eine Autorität im Sport ist. Aber wenn Sie ein zufälliger Blog sind, der ESPN-Inhalte kopiert, müssen wir sicherstellen, dass ESPN höher als dieser zufällige Blog rangiert. Der Publisher-Score berücksichtigt auch Faktoren wie Originalität, wann Artikel veröffentlicht wurden, wie Benutzerbewertungen aussehen usw. Es ist letztendlich ein Spektrum vieler Faktoren, die wir berücksichtigen.

Eines, das alles übertrumpft, ist “Was will der Benutzer lesen?” Wenn ein Benutzer Clickbait-Artikel lesen möchte, werden wir ihn nicht stoppen, wenn es nicht illegal ist oder unsere Richtlinien verletzt. Wir legen nicht auf den Benutzer auf, aber wenn etwas unsicher oder unangemessen ist, haben wir unsere due diligence, bevor es in den Feed gelangt.

Was ist Ihre Meinung zu Journalisten, die generative KI nutzen, um Inhalte zu erstellen?

Ich glaube, dass diese Frage eine ethische ist und etwas, das wir derzeit bei SmartNews debattieren. Wie sollte SmartNews Herausgeber betrachten, die Inhalte erstellen, die von generativer KI und nicht von Journalisten erstellt wurden?

Ich glaube, dass dieser Zug bereits abgefahren ist. Heute nutzen Journalisten KI, um ihre Schreibarbeit zu unterstützen. Es ist eine Frage der Skalierbarkeit, wir haben nicht die Zeit auf der Welt, um Artikel in einem kommerziell rentablen Tempo zu produzieren, insbesondere, da Nachrichtenorganisationen weiterhin Personal abbauen. Die Frage wird dann, wie viel Kreativität in dieses hineingeht? Wird der Artikel von dem Journalisten poliert? Oder ist der Journalist völlig von der KI abhängig?

Im gegenwärtigen Stadium kann generative KI keine Artikel über aktuelle Ereignisse schreiben, da es dafür keine Trainingsdaten gibt. Sie kann jedoch ein ziemlich gutes allgemeines Template dafür liefern. Als Beispiel sind Schulshootings so häufig, dass man annehmen könnte, dass generative KI einem Journalisten ein Prompt zu Schulshootings geben und ein Journalist die Schule einfügen könnte, die betroffen war, um ein vollständiges Template zu erhalten.

Meiner Meinung nach, aus der Arbeit mit SmartNews, gibt es zwei Prinzipien, die ich für wichtig halte. Erstens möchten wir, dass Herausgeber offen sind und uns mitteilen, wenn Inhalt von KI generiert wurde, und wir möchten es als solches kennzeichnen. Auf diese Weise sind die Leser nicht irregeführt, wenn sie den Artikel lesen, wer den Artikel geschrieben hat. Dies ist Transparenz auf höchstem Niveau.

Zweitens möchten wir, dass dieser Artikel sachlich richtig ist. Wir wissen, dass generative KI dazu neigt, Dinge zu erfinden, wenn sie will, und jeder Artikel, der von generativer KI geschrieben wird, muss von einem Journalisten oder dem Redaktionsteam überprüft werden.

Sie haben zuvor argumentiert, dass Tech-Plattformen sich vereinen und gemeinsame Standards zur Bekämpfung von digitaler Toxizität entwickeln sollten. Wie wichtig ist dieses Problem?

Ich glaube, dass dieses Problem von entscheidender Bedeutung ist, nicht nur für Unternehmen, um ethisch zu handeln, sondern auch, um ein bestimmtes Maß an Würde und Anstand zu bewahren. In meiner Meinung sollten Plattformen zusammenkommen und bestimmte Standards entwickeln, um diese Menschlichkeit zu bewahren. Als Beispiel sollte niemand jemals ermutigt werden, sein eigenes Leben zu nehmen, aber in einigen Situationen finden wir diese Art von Missbrauch auf Plattformen, und ich glaube, dass dies etwas ist, gegen das Unternehmen zusammenkommen sollten.

Letztendlich, wenn es um Probleme der Menschlichkeit geht, sollte es keinen Wettbewerb geben. Es sollte nicht einmal notwendigerweise ein Wettbewerb darüber geben, wer die sauberste oder sicherste Gemeinschaft ist – wir sollten alle darauf abzielen, dass unsere Benutzer sich sicher und verstanden fühlen. Lass uns um Funktionen wetteifern, nicht um Ausbeutung.

Wie können digitale Unternehmen zusammenarbeiten?

Unternehmen sollten zusammenkommen, wenn es gemeinsame Werte und die Möglichkeit der Zusammenarbeit gibt. Es gibt immer Räume, in denen es eine Überschneidung zwischen Unternehmen und Branchen gibt, insbesondere, wenn es um die Bekämpfung von Missbrauch, die Gewährleistung von Anstand auf Plattformen oder die Verringerung von Polarisierung geht. Diese sind Momente, in denen Unternehmen zusammenarbeiten sollten.

Es gibt natürlich einen kommerziellen Winkel mit Wettbewerb, und typischerweise ist Wettbewerb gut. Er hilft sicherzustellen, dass es Stärke und Differenzierung zwischen Unternehmen gibt und Lösungen mit einer Effektivität liefert, die Monopole nicht garantieren können.

Aber wenn es um den Schutz von Benutzern, die Förderung von Anstand oder die Verringerung von Missbrauch geht, sind dies Themen, die für uns von entscheidender Bedeutung sind, um unsere Menschlichkeit zu bewahren. Diese sind Dinge, die wir tun müssen, um sicherzustellen, dass wir das schützen, was heilig für uns ist, und unsere Menschlichkeit. In meiner Meinung haben alle Plattformen die Verantwortung, in Verteidigung menschlicher Werte und der Werte, die uns eine freie Welt machen, zusammenzuarbeiten.

Was sind Ihre aktuellen Ansichten zu verantwortungsvoller KI?

Wir stehen am Anfang von etwas, das sehr umfassend in unserem Leben sein wird. Diese nächste Phase von generativer KI ist ein Problem, das wir nicht vollständig verstehen oder nur teilweise begreifen können.

Wenn es um verantwortungsvolle KI geht, ist es unglaublich wichtig, dass wir starke Schutzvorkehrungen entwickeln, oder wir könnten otherwise mit einem Frankenstein-Monster von generativer KI-Technologie enden. Wir müssen die Zeit und Ressourcen investieren, um alles zu durchdenken, was schiefgehen könnte. Ob es darum geht, dass Vorurteile in die Algorithmen einfließen oder dass große Sprachmodelle von den falschen Leuten verwendet werden, um schädliche Taten zu begehen.

Die Technologie selbst ist nicht gut oder schlecht, aber sie kann von schlechten Menschen verwendet werden, um schädliche Dinge zu tun. Deshalb ist es so wichtig, Zeit und Ressourcen in KI-Ethiker zu investieren, um gegnerisches Testen durchzuführen, um Designfehler zu verstehen. Dies hilft uns, zu verstehen, wie wir Missbrauch verhindern können, und ich denke, das ist wahrscheinlich der wichtigste Aspekt von verantwortungsvoller KI.

Weil KI noch nicht selbst denken kann, benötigen wir intelligente Menschen, die diese Standards aufbauen, wenn KI programmiert wird. Der wichtigste Aspekt, der derzeit zu berücksichtigen ist, ist die Zeit – wir benötigen diese positiven Akteure, die diese Dinge jetzt tun, bevor es zu spät ist.

Im Gegensatz zu anderen Systemen, die wir in der Vergangenheit entworfen und gebaut haben, ist KI anders, da sie iterieren und selbst lernen kann, also müssen wir starke Schutzvorkehrungen aufbauen, um zu kontrollieren, was sie werden könnte.

Derzeit sehen wir, dass einige große Unternehmen Ethikbeiräte und verantwortungsvolle KI-Teams als Teil von großen Entlassungen abbauen. Es bleibt abzuwarten, wie ernst diese Tech-Riesen die Technologie und die möglichen Nachteile von KI in ihrer Entscheidungsfindung nehmen.

Gibt es noch etwas, das Sie über Ihre Arbeit mit SmartNews teilen möchten?

Ich bin zu SmartNews gekommen, weil ich an die Mission glaube, die eine bestimmte Reinheit hat. Ich glaube fest, dass die Welt polarisierter wird und es heute nicht genug Medienkompetenz gibt, um diese Tendenz zu bekämpfen.

Leider gibt es zu viele Menschen, die WhatsApp-Nachrichten als Evangelium betrachten und sie ohne weiteres Nachdenken glauben. Das kann zu enormen Konsequenzen führen, einschließlich – und insbesondere – Gewalt. Alles kommt darauf hinaus, dass Menschen nicht verstehen, was sie glauben können und was nicht.

Wenn wir Menschen nicht bilden oder informieren, wie sie die Glaubwürdigkeit dessen beurteilen können, was sie konsumieren, werden wir das Problem weiterhin fördern und die Probleme, die uns die Geschichte gelehrt hat, nicht zu tun, verstärken.

Einer der wichtigsten Bestandteile meiner Arbeit bei SmartNews ist, die Polarisierung in der Welt zu verringern. Ich möchte die Mission des Gründers erfüllen, Medienkompetenz zu verbessern, damit sie verstehen, was sie konsumieren, und fundierte Meinungen über die Welt und die vielen unterschiedlichen Perspektiven bilden können.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren oder eine andere Art von Nachrichten-App ausprobieren möchten, sollten SmartNews besuchen.