Arjun Narayan, Leiter des globalen Trust und Safety für SmartNews – Interviewreihe

Arjun Narayan, ist der Leiter des globalen Trust und Safety für SmartNews eine Nachrichten-Aggregator-App, er ist auch ein Experte für KI-Ethik und Tech-Politik. SmartNews verwendet KI und ein menschliches Redaktionsteam, um Nachrichten für Leser zu aggregieren.

Sie waren maßgeblich an der Gründung des Google-Trust-und-Sicherheits-Hubs in Singapur beteiligt, was waren einige der wichtigsten Lektionen, die Sie aus dieser Erfahrung gelernt haben?

Bei der Aufbau von Trust-und-Sicherheitsteams ist Landeskenntnis entscheidend, da Missbrauch sehr unterschiedlich ist, je nachdem, welches Land Sie regulieren. Zum Beispiel wurde die Art und Weise, wie Google-Produkte in Japan missbraucht wurden, unterschiedlich als in Südostasien und Indien. Dies bedeutet, dass Missbrauchsvektoren sehr unterschiedlich sind, je nachdem, wer missbraucht und in welchem Land Sie ansässig sind; es gibt also keine Homogenität. Dies war etwas, das wir früh gelernt haben.

Ich habe auch gelernt, dass kulturelle Vielfalt bei der Aufbau von Trust-und-Sicherheitsteams im Ausland unglaublich wichtig ist. Bei Google haben wir unsergewiss, dass es genügend kulturelle Vielfalt und Verständnis innerhalb der Menschen gab, die wir eingestellt haben. Wir suchten nach Menschen mit spezifischer Domänenexpertise, aber auch nach Sprach- und Markenkenntnissen.

Ich fand auch kulturelle Immersion unglaublich wichtig. Wenn wir Trust-und-Sicherheitsteams über Grenzen hinweg aufbauen, müssen wir sicherstellen, dass unsere Ingenieur- und Geschäftsteams sich einlassen können. Dies hilft sicherzustellen, dass jeder näher an den Problemen ist, die wir zu bewältigen versuchen. Um dies zu tun, haben wir quartalsweise Immersions-Sitzungen mit Schlüsselpersonal durchgeführt, und das half, den kulturellen IQ aller zu erhöhen.

Schließlich war cross-kulturelles Verständnis so wichtig. Ich leitete ein Team in Japan, Australien, Indien und Südostasien, und die Art und Weise, wie sie interagierten, war wild unterschiedlich. Als Leiter möchte man sicherstellen, dass jeder seine Stimme finden kann. Letztendlich ist all dies darauf ausgelegt, ein Hochleistungsteam aufzubauen, das sensible Aufgaben wie Trust und Sicherheit ausführen kann.

Zuvor waren Sie auch im Trust-und-Sicherheitsteam bei ByteDance für die TikTok-Anwendung, wie werden Videos, die oft kürzer als eine Minute sind, effektiv auf Sicherheit überwacht?

Ich möchte diese Frage ein wenig umformulieren, denn es spielt keine Rolle, ob ein Video kurz oder lang ist. Das ist kein Faktor, wenn wir die Sicherheit von Videos bewerten, und die Länge hat keinen Einfluss darauf, ob ein Video Missbrauch verbreiten kann.

Wenn ich an Missbrauch denke, denke ich an “Probleme”. Was sind einige der Probleme, denen Benutzer ausgesetzt sind? Fehlinformationen? Desinformation? Ob das Video 1 Minute oder 1 Stunde lang ist, gibt es immer noch Fehlinformationen, die verbreitet werden, und das Ausmaß des Missbrauchs bleibt vergleichbar.

Je nach Problemtyp denken wir über Richtlinien durch und Sicherheitsmaßnahmen nach und wie wir verletzliche Benutzer schützen können. Zum Beispiel gibt es ein Video von jemandem, der Selbstmord begeht. Wenn wir eine Benachrichtigung erhalten, dass dieses Video existiert, müssen wir sofort handeln, da jemand sein Leben verlieren könnte. Wir verlassen uns stark auf Machine Learning, um diese Art von Erkennung durchzuführen. Der erste Schritt ist immer, die Behörden zu kontaktieren, um zu versuchen, das Leben zu retten, nichts ist wichtiger. Von dort aus zielen wir darauf ab, das Video, Livestream oder welches Format auch immer, in dem es verbreitet wird, zu suspendieren. Wir müssen sicherstellen, dass wir die Aussetzung an diesem schädlichen Inhalt so schnell wie möglich minimieren.

Ebenso, wenn es Hassrede ist, gibt es unterschiedliche Wege, dies zu entpacken. Oder im Falle von Mobbing und Belästigung hängt es wirklich vom Problemtyp ab, und je nachdem würden wir unsere Durchsetzungs- und Sicherheitsmaßnahmen anpassen. Ein weiteres Beispiel für eine gute Sicherheitsmaßnahme war, dass wir Machine Learning implementiert haben, das erkennen kann, wenn jemand etwas Unangemessenes in den Kommentaren schreibt, und eine Aufforderung geben, um nachzudenken, bevor er diesen Kommentar postet. Wir würden sie nicht unbedingt stoppen, aber unsere Hoffnung war, dass die Leute zweimal nachdenken, bevor sie etwas Gemeines teilen.

Es kommt auf eine Kombination aus Machine Learning und Schlüsselwortregeln an. Aber wenn es um Livestreams geht, haben wir auch menschliche Moderatoren, die diese Streams überprüfen, die von KI gekennzeichnet wurden, damit sie sofort melden und Protokolle umsetzen können. Da sie in Echtzeit stattfinden, reicht es nicht aus, auf Benutzer zu warten, die melden, also müssen wir menschliche Überwachung in Echtzeit haben.

Seit 2021 sind Sie der Leiter von Trust, Safety und Customer Experience bei SmartNews, einer Nachrichten-Aggregator-App, können Sie erläutern, wie SmartNews Machine Learning und Natural Language Processing nutzt, um hochwertige Nachrichteninhalte zu identifizieren und zu priorisieren?

Das zentrale Konzept ist, dass wir bestimmte “Regeln” oder Machine-Learning-Technologie haben, die einen Artikel oder eine Anzeige parsen und verstehen können, worum es geht.

Wenn es etwas gibt, das unsere “Regeln” verletzt, zum Beispiel etwas, das faktisch falsch oder irreführend ist, haben wir Machine Learning, das diesen Inhalt zu einem menschlichen Rezensenten auf unserem Redaktionsteam flaggt. Auf dieser Stufe versteht er unsere redaktionellen Werte und kann den Artikel schnell überprüfen und eine Entscheidung über seine Angemessenheit oder Qualität treffen. Von dort aus werden Maßnahmen ergriffen, um es anzugehen.

Wie nutzt SmartNews KI, um sicherzustellen, dass die Plattform sicher, inklusiv und objektiv ist?

SmartNews wurde auf dem Prinzip gegründet, dass Hyper-Personalisierung gut für das Ego ist, aber auch polarisierend wirkt, indem sie unsere Vorurteile verstärkt und uns in einer Filterblase gefangen hält.

Die Art und Weise, wie SmartNews KI nutzt, ist ein wenig anders, weil wir nicht ausschließlich auf Engagement optimieren. Unser Algorithmus möchte Sie verstehen, aber er personalisiert nicht unbedingt Ihren Geschmack. Das liegt daran, dass wir an die Erweiterung von Perspektiven glauben. Unser KI-Motor wird Ihnen Konzepte und Artikel vorstellen, die über angrenzende Konzepte hinausgehen.

Die Idee ist, dass es Dinge gibt, die die Menschen wissen müssen, um das öffentliche Interesse zu wahren, und es gibt Dinge, die die Menschen wissen müssen, um ihre Perspektive zu erweitern. Die Balance, die wir zu schlagen versuchen, ist, diese kontextuellen Analysen bereitzustellen, ohne big brotherlich zu sein. Manchmal werden die Menschen die Dinge, die unser Algorithmus in ihren Feed einfügt, nicht mögen. Wenn das passiert, können die Menschen wählen, diesen Artikel nicht zu lesen. Wir sind jedoch stolz auf die Fähigkeit unseres KI-Motors, Serendipität, Neugier, was immer man es nennen möchte, zu fördern.

Auf der Sicherheitsseite hat SmartNews etwas, das als “Publisher-Score” bezeichnet wird, dies ist ein Algorithmus, der ständig bewertet, ob ein Verleger sicher ist oder nicht. Letztendlich möchten wir feststellen, ob ein Verleger eine autoritative Stimme hat. Zum Beispiel können wir alle kollektiv zustimmen, dass ESPN eine Autorität im Sport ist. Aber wenn Sie ein zufälliger Blog sind, der ESPN-Inhalte kopiert, müssen wir sicherstellen, dass ESPN höher als dieser zufällige Blog rangiert. Der Publisher-Score berücksichtigt auch Faktoren wie Originalität, wann Artikel veröffentlicht wurden, wie Benutzerbewertungen aussehen usw. Es ist letztendlich ein Spektrum vieler Faktoren, die wir berücksichtigen.

Eines, das alles übertrifft, ist “Was will der Benutzer lesen?” Wenn ein Benutzer Clickbait-Artikel anzeigen möchte, werden wir ihn nicht stoppen, wenn es nicht illegal ist oder unsere Richtlinien verletzt. Wir legen dem Benutzer nichts auf, aber wenn etwas unsicher oder unangemessen ist, haben wir unsere due Diligence, bevor es in den Feed gelangt.

Was ist Ihre Meinung zu Journalisten, die generative KI verwenden, um ihnen bei der Erstellung von Inhalten zu helfen?

Ich glaube, dass diese Frage eine ethische ist und etwas, das wir derzeit bei SmartNews debattieren. Wie sollte SmartNews Verleger bewerten, die Inhalte einreichen, die von generativer KI erstellt wurden, anstatt von Journalisten selbst geschrieben?

Ich glaube, dass der Zug offiziell den Bahnhof verlassen hat. Heute verwenden Journalisten KI, um ihre Schreibarbeit zu ergänzen. Es ist eine Frage der Skalierbarkeit, wir haben nicht die Zeit auf der Welt, um Artikel in einem kommerziell rentablen Tempo zu produzieren, besonders wenn Nachrichtenorganisationen weiterhin Personal abbauen. Die Frage wird dann, wie viel Kreativität in dies investiert wird? Wird der Artikel vom Journalisten poliert oder ist der Journalist völlig abhängig?

Im Moment kann generative KI keine Artikel über aktuelle Ereignisse schreiben, weil es dafür keine Trainingsdaten gibt. Sie kann jedoch ein ziemlich gutes generisches Template liefern, um dies zu tun. Zum Beispiel sind Schulschießereien so häufig, dass wir annehmen könnten, dass generative KI einem Journalisten ein Prompt zu Schulschießereien geben könnte und ein Journalist den betroffenen Schulnamen einfügen könnte, um ein vollständiges Template zu erhalten.

Aus meiner Sicht, die mit SmartNews arbeitet, gibt es zwei Prinzipien, die ich für wichtig halte. Erstens möchten wir, dass Verleger offenlegen, wenn Inhalte von KI generiert wurden, und wir möchten sie als solche kennzeichnen. Auf diese Weise werden die Menschen, wenn sie den Artikel lesen, nicht darüber getäuscht, wer den Artikel geschrieben hat. Dies ist Transparenz auf höchstem Niveau.

Zweitens möchten wir, dass dieser Artikel faktisch korrekt ist. Wir wissen, dass generative KI dazu neigt, Dinge zu erfinden, wenn sie will, und jeder Artikel, der von generativer KI geschrieben wird, muss von einem Journalisten oder Redaktionsstab überprüft werden.

Sie haben zuvor argumentiert, dass Tech-Plattformen sich vereinen und gemeinsame Standards schaffen sollten, um digitale Toxizität zu bekämpfen, wie wichtig ist dieses Problem?

Ich glaube, dass dieses Problem von entscheidender Bedeutung ist, nicht nur für Unternehmen, um ethisch zu handeln, sondern auch, um eine bestimmte Würde und Zivilität aufrechtzuerhalten. Meiner Meinung nach sollten Plattformen zusammenkommen und bestimmte Standards entwickeln, um diese Menschlichkeit aufrechtzuerhalten. Zum Beispiel sollte niemand jemals ermutigt werden, sein eigenes Leben zu beenden, aber in einigen Situationen finden wir diese Art von Missbrauch auf Plattformen, und ich glaube, dass dies etwas ist, gegen das Unternehmen zusammenkommen sollten.

Letztendlich, wenn es um Probleme der Menschheit geht, sollte es keinen Wettbewerb geben. Es sollte nicht einmal notwendigerweise einen Wettbewerb darüber geben, wer die sauberste oder sicherste Community ist – wir sollten alle darauf abzielen, sicherzustellen, dass unsere Benutzer sich sicher und verstanden fühlen. Lassen Sie uns auf Funktionen konkurrieren, nicht auf Ausbeutung.

Wie können digitale Unternehmen zusammenarbeiten?

Unternehmen sollten zusammenkommen, wenn es gemeinsame Werte und die Möglichkeit der Zusammenarbeit gibt. Es gibt immer Räume, in denen es eine Intersektionalität zwischen Unternehmen und Branchen gibt, besonders wenn es um den Kampf gegen Missbrauch, die Gewährleistung von Zivilität auf Plattformen oder die Verringerung von Polarisierung geht. Dies sind Momente, in denen Unternehmen zusammenarbeiten sollten.

Es gibt natürlich einen kommerziellen Winkel mit Wettbewerb, und typischerweise ist Wettbewerb gut. Er hilft sicherzustellen, dass es Stärke und Differenzierung zwischen Unternehmen gibt und Lösungen mit einem bestimmten Grad an Effektivität liefert, die Monopole nicht garantieren können.

Aber wenn es um den Schutz von Benutzern geht oder um die Förderung von Zivilität oder die Verringerung von Missbrauch, sind dies Themen, die für uns von entscheidender Bedeutung sind, um unsere Menschlichkeit zu bewahren. In meiner Meinung haben alle Plattformen die Verantwortung, zusammenzuarbeiten, um menschliche Werte und die Werte, die uns eine freie Welt machen, zu verteidigen.

Was ist Ihre aktuelle Meinung zu verantwortungsvoller KI?

Wir stehen am Anfang von etwas, das sehr präsent in unserem Leben sein wird. Diese nächste Phase der generativen KI ist ein Problem, das wir noch nicht vollständig verstehen oder nur teilweise begreifen können.

Wenn es um verantwortungsvolle KI geht, ist es unglaublich wichtig, dass wir starke Schutzmaßnahmen entwickeln, oder wir könnten otherwise mit einem Frankenstein-Monster der generativen KI-Technologien enden. Wir müssen die Zeit nehmen, um alles zu durchdenken, was schiefgehen könnte. Ob es darum geht, dass Bias in die Algorithmen kriecht oder ob große Sprachmodelle selbst von den falschen Menschen verwendet werden, um schädliche Akte auszuführen.

Die Technologie selbst ist nicht gut oder schlecht, aber sie kann von schlechten Menschen verwendet werden, um schädliche Dinge zu tun. Deshalb ist es so kritisch, Zeit und Ressourcen in KI-Ethiker zu investieren, um adversarial Testing durchzuführen, um die Designfehler zu verstehen. Dies hilft uns, zu verstehen, wie wir Missbrauch verhindern können, und ich denke, das ist wahrscheinlich der wichtigste Aspekt der verantwortungsvollen KI.

Weil KI noch nicht selbst denken kann, benötigen wir intelligente Menschen, die diese Standards aufbauen, wenn KI programmiert wird. Der wichtigste Aspekt, der derzeit zu berücksichtigen ist, ist die Zeit – wir benötigen diese positiven Akteure, die diese Dinge jetzt tun, bevor es zu spät ist.

Anders als andere Systeme, die wir in der Vergangenheit entworfen und gebaut haben, ist KI anders, weil sie selbst iterieren und lernen kann, also wenn Sie starke Schutzmaßnahmen nicht einrichten, können wir nicht kontrollieren, was sie werden könnte.

Im Moment sehen wir, wie einige große Unternehmen Ethikbeiräte und verantwortungsvolle KI-Teams im Rahmen von großen Entlassungen abbauen. Es bleibt abzuwarten, wie ernst diese Tech-Majors die Technologie nehmen und wie ernst sie die potenziellen Nachteile von KI in ihrer Entscheidungsfindung überprüfen.

Gibt es noch etwas, das Sie über Ihre Arbeit bei SmartNews teilen möchten?

Ich bin zu SmartNews gestoßen, weil ich an ihre Mission glaube, die Mission hat eine bestimmte Reinheit. Ich glaube stark, dass die Welt polarisierter wird und es nicht genug Medienkompetenz gibt, um diesem Trend entgegenzuwirken.

Leider gibt es zu viele Menschen, die WhatsApp-Nachrichten als Evangelium nehmen und sie bei face value glauben. Das kann zu enormen Konsequenzen führen, einschließlich – und besonders – Gewalt. Alles dies lässt sich auf die Tatsache zurückführen, dass die Menschen nicht verstehen, was sie können und was sie nicht glauben können.

Wenn wir die Menschen nicht aufklären oder informieren, wie sie Entscheidungen über die Glaubwürdigkeit dessen treffen können, was sie konsumieren, werden wir das Problem weiterhin fördern und die Probleme, die uns die Geschichte gelehrt hat, nicht zu tun, weiterhin vergrößern.

Einer der wichtigsten Bestandteile meiner Arbeit bei SmartNews ist, die Polarisierung in der Welt zu verringern. Ich möchte die Mission des Gründers erfüllen, Medienkompetenz zu verbessern, damit sie verstehen können, was sie konsumieren, und informierte Meinungen über die Welt und die vielen verschiedenen Perspektiven bilden können.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren oder eine andere Art von Nachrichten-App ausprobieren möchten, sollten SmartNews besuchen.