Arjun Narayan, Head of Global Trust and Safety for SmartNews – Intervista di Serie

Arjun Narayan, è il Head of Global Trust and Safety per SmartNews un’app di aggregazione di notizie, ed è anche un esperto di etica dell’AI e politiche tecnologiche. SmartNews utilizza l’AI e un team editoriale umano per aggregare notizie per i lettori.

Sei stato fondamentale nell’aiutare a stabilire il centro di Trust & Safety Asia Pacific di Google a Singapore, quali sono state alcune delle lezioni chiave che hai imparato da questa esperienza?

Quando si costruiscono team di Trust and Safety, l’esperienza a livello di paese è fondamentale perché l’abuso è molto diverso a seconda del paese che si regola. Ad esempio, il modo in cui i prodotti Google (GOOGL ) sono stati abusati in Giappone era diverso da come sono stati abusati in Sud-Est Asia e India. Ciò significa che i vettori di abuso sono molto diversi a seconda di chi sta abusando e del paese in cui ci si trova; quindi non c’è omogeneità. Questo è qualcosa che abbiamo imparato presto.

Ho anche imparato che la diversità culturale è incredibilmente importante quando si costruiscono team di Trust and Safety all’estero. In Google, ci siamo assicurati che ci fosse sufficiente diversità culturale e comprensione all’interno delle persone che abbiamo assunto. Stavamo cercando persone con specifiche competenze di dominio, ma anche con competenze linguistiche e di mercato.

Ho anche trovato che l’immersione culturale sia incredibilmente importante. Quando costruiamo team di Trust and Safety oltre i confini, abbiamo bisogno di assicurarci che i nostri team di ingegneria e business possano immergersi. Ciò aiuta a garantire che tutti siano più vicini ai problemi che stiamo cercando di gestire. Per farlo, abbiamo fatto sessioni di immersione trimestrali con il personale chiave, e ciò ha aiutato a aumentare il quoziente culturale di tutti.

Infine, la comprensione interculturale è stata così importante. Ho gestito un team in Giappone, Australia, India e Sud-Est Asia, e il modo in cui hanno interagito era incredibilmente diverso. Come leader, si vuole assicurarsi che tutti possano trovare la loro voce. In definitiva, tutto ciò è progettato per costruire un team ad alte prestazioni che possa eseguire compiti sensibili come Trust and Safety.

In precedenza, sei stato anche nel team di Trust & Safety di ByteDance per l’applicazione TikTok, come vengono monitorati efficacemente i video che sono spesso più brevi di un minuto per la sicurezza?

Vorrei riformulare un po’ questa domanda, perché non importa realmente se un video è breve o lungo. Ciò non è un fattore quando valutiamo la sicurezza del video, e la lunghezza non ha un peso reale su quanto un video possa diffondere abusi.

Quando penso all’abuso, penso ai “problemi”. Quali sono alcuni dei problemi a cui gli utenti sono vulnerabili? Disinformazione? Mancanza di informazione? Che il video duri 1 minuto o 1 ora, c’è ancora disinformazione condivisa e il livello di abuso rimane paragonabile.

A seconda del tipo di problema, si inizia a pensare alle politiche di applicazione e alle barriere di sicurezza e a come si possa proteggere gli utenti vulnerabili. Ad esempio, supponiamo che ci sia un video di qualcuno che si fa del male. Quando riceviamo la notifica che questo video esiste, dobbiamo agire con urgenza, perché qualcuno potrebbe perdere la vita. Ci affidiamo molto al machine learning per rilevare questo tipo di abuso. Il primo passo è sempre contattare le autorità per cercare di salvare quella vita, nulla è più importante. Da lì, ci impegniamo a sospendere il video, la diretta o qualsiasi formato in cui viene condiviso. Dobbiamo assicurarci di minimizzare l’esposizione a quel tipo di contenuto dannoso il più presto possibile.

Allo stesso modo, se si tratta di discorso d’odio, ci sono modi diversi per analizzare il problema. O nel caso di bullismo e molestie, dipende realmente dal tipo di problema, e a seconda di ciò, modificheremmo le nostre opzioni di applicazione e le barriere di sicurezza. Un altro esempio di una buona barriera di sicurezza è che abbiamo implementato il machine learning in grado di rilevare quando qualcuno scrive qualcosa di inappropriato nei commenti e fornire un prompt per farli riflettere due volte prima di pubblicare quel commento. Non li fermeremmo necessariamente, ma speriamo che le persone riflettano due volte prima di condividere qualcosa di cattivo.

Si tratta di una combinazione di machine learning e regole basate su parole chiave. Tuttavia, quando si tratta di dirette, abbiamo anche moderatori umani che esaminano quelle dirette segnalate dall’AI in modo che possano segnalare immediatamente e attuare protocolli. Poiché si verificano in tempo reale, non è sufficiente affidarsi agli utenti per segnalare, quindi dobbiamo avere umani che monitorano in tempo reale.

Dal 2021, sei il Head of Trust, Safety, and Customer experience di SmartNews, un’app di aggregazione di notizie. Potresti discutere come SmartNews utilizza il machine learning e l’elaborazione del linguaggio naturale per identificare e priorizzare contenuti di notizie di alta qualità?

Il concetto centrale è che abbiamo determinate “regole” o tecnologie di machine learning che possono analizzare un articolo o un annuncio e capire di cosa tratta.

Ogniqualvolta c’è qualcosa che viola le nostre “regole”, ad esempio qualcosa di falsamente inaccurato o fuorviante, abbiamo un flag di machine learning che segnala quel contenuto a un revisore umano del nostro team editoriale. A quel punto, il revisore comprende i nostri valori editoriali e può rapidamente esaminare l’articolo e prendere una decisione sulla sua idoneità o qualità. Da lì, vengono intraprese azioni per affrontare il problema.

Come utilizza SmartNews l’AI per garantire che la piattaforma sia sicura, inclusiva e obiettiva?

SmartNews è stata fondata sul principio che l’iper-personalizzazione è buona per l’ego, ma è anche polarizzante e ci sta mettendo tutti in una bolla di filtro.

Il modo in cui SmartNews utilizza l’AI è un po’ diverso perché non stiamo esclusivamente ottimizzando per l’engagement. Il nostro algoritmo vuole capire te, ma non si sta necessariamente iper-personalizzando ai tuoi gusti. Ciò perché crediamo nell’allargare le prospettive. Il nostro motore AI ti presenterà concetti e articoli al di là dei concetti adiacenti.

L’idea è che ci sono cose che le persone devono sapere nell’interesse pubblico, e ci sono cose che le persone devono sapere per allargare la loro prospettiva. L’equilibrio che cerchiamo di raggiungere è fornire queste analisi contestuali senza essere invasivi. A volte le persone non apprezzeranno le cose che il nostro algoritmo mette nel loro feed. Quando accade, le persone possono scegliere di non leggere quell’articolo. Tuttavia, siamo orgogliosi della capacità del motore AI di promuovere la serendipità, la curiosità, o come vuoi chiamarla.

Sul lato della sicurezza, SmartNews ha qualcosa chiamato “Publisher Score”, questo è un algoritmo progettato per valutare costantemente se un editore è sicuro o meno. In definitiva, vogliamo stabilire se un editore ha una voce autorevole. Ad esempio, possiamo tutti concordare collettivamente che ESPN è un’autorità nello sport. Ma, se sei un blog casuale che copia il contenuto di ESPN, dobbiamo assicurarci che ESPN sia classificato più in alto di quel blog casuale. Il punteggio dell’editore considera anche fattori come l’originalità, quando gli articoli sono stati pubblicati, come appaiono le recensioni degli utenti, ecc. È essenzialmente uno spettro di molti fattori che consideriamo.

Una cosa che supera tutto è “Cosa vuole leggere l’utente?” Se un utente vuole visualizzare articoli di clickbait, non li fermeremmo se non è illegale o viola le nostre linee guida. Non imponiamo all’utente, ma se qualcosa è insicuro o inappropriato, abbiamo il nostro dovere di diligenza prima che qualcosa colpisca il feed.

Quali sono le tue opinioni sull’uso di AI generativa da parte dei giornalisti per assistere nella produzione di contenuti?

Credo che questa sia una questione etica, e qualcosa che stiamo attualmente dibattendo qui a SmartNews. Come dovrebbe SmartNews considerare gli editori che presentano contenuti formati da AI generativa invece che da giornalisti che li scrivono?

Credo che quel treno sia ufficialmente partito. Oggi, i giornalisti stanno utilizzando l’AI per aumentare la loro scrittura. È una funzione di scala, non abbiamo il tempo nel mondo per produrre articoli a un tasso commercialmente fattibile, specialmente poiché le organizzazioni di notizie continuano a tagliare il personale. La domanda diventa, quanto creatività va in questo? È l’articolo lucidato dal giornalista? O il giornalista si affida completamente?

Al momento, l’AI generativa non è in grado di scrivere articoli su eventi di notizie di attualità perché non ci sono dati di formazione per questo. Tuttavia, può ancora darti un modello generico abbastanza buono per farlo. Ad esempio, le sparatorie nelle scuole sono così comuni, potremmo supporre che l’AI generativa possa dare a un giornalista un prompt sulle sparatorie nelle scuole e un giornalista potrebbe inserire la scuola interessata per ricevere un modello completo.

Dal mio punto di vista, lavorando con SmartNews, ci sono due principi che credo valga la pena considerare. In primo luogo, vogliamo che gli editori siano trasparenti nel dirci quando il contenuto è stato generato da AI, e vogliamo etichettarlo come tale. In questo modo, quando le persone leggono l’articolo, non vengono ingannate su chi ha scritto l’articolo. Questo è trasparenza al massimo livello.

In secondo luogo, vogliamo che quell’articolo sia factualmente corretto. Sappiamo che l’AI generativa tende a inventare le cose quando vuole, e qualsiasi articolo scritto da AI generativa deve essere revisionato da un giornalista o dal personale editoriale.

Hai precedentemente sostenuto che le piattaforme tecnologiche dovrebbero unirsi e creare standard comuni per combattere la tossicità digitale, quanto è importante questo problema?

Credo che questo problema sia di importanza critica, non solo per le aziende che operano eticamente, ma per mantenere un livello di dignità e civiltà. A mio parere, le piattaforme dovrebbero unirsi e sviluppare determinati standard per mantenere questa umanità. Ad esempio, nessuno dovrebbe mai essere incoraggiato a prendere la propria vita, ma in alcune situazioni, troviamo questo tipo di abuso sulle piattaforme, e credo che sia qualcosa che le aziende dovrebbero unirsi per proteggere.

In definitiva, quando si tratta di problemi di umanità, non dovrebbe esserci competizione. Non dovrebbe esserci competizione su chi è la comunità più pulita o più sicura – dovremmo tutti mirare a garantire che i nostri utenti si sentano al sicuro e capiti. Competiamo sulle funzionalità, non sull’estorsione.

Quali sono alcuni modi in cui le aziende digitali possono lavorare insieme?

Le aziende dovrebbero unirsi quando ci sono valori condivisi e la possibilità di collaborazione. Ci sono sempre spazi in cui c’è intersezione tra aziende e settori, specialmente quando si tratta di combattere l’abuso, garantire la civiltà nelle piattaforme o ridurre la polarizzazione. Questi sono momenti in cui le aziende dovrebbero lavorare insieme.

C’è naturalmente un angolo commerciale con la competizione, e di solito la competizione è buona. Aiuta a garantire la forza e la differenziazione tra le aziende e fornisce soluzioni con un livello di efficacia che i monopoli non possono garantire.

Tuttavia, quando si tratta di proteggere gli utenti, o promuovere la civiltà, o ridurre i vettori di abuso, questi sono argomenti che sono centrali per noi per preservare il mondo libero. Queste sono cose che dobbiamo fare per garantire che proteggiamo ciò che è sacro per noi e la nostra umanità. A mio parere, tutte le piattaforme hanno la responsabilità di collaborare in difesa dei valori umani e dei valori che ci rendono un mondo libero.

Quali sono le tue opinioni attuali sull’AI responsabile?

Siamo all’inizio di qualcosa di molto pervasivo nella nostra vita. Questa prossima fase di AI generativa è un problema che non comprendiamo completamente, o che possiamo comprendere solo parzialmente in questo momento.

Quando si tratta di AI responsabile, è incredibilmente importante che sviluppiamo solide barriere di sicurezza, altrimenti potremmo finire con un mostro di Frankenstein di tecnologie di AI generativa. Dobbiamo spendere il tempo per pensare a tutto ciò che potrebbe andare storto. Che si tratti di pregiudizi che si insinuano negli algoritmi, o di grandi modelli linguistici che vengono utilizzati dalle persone sbagliate per compiere atti nefasti.

La tecnologia in sé non è buona o cattiva, ma può essere utilizzata da persone cattive per fare cose cattive. Questo è il motivo per cui è fondamentale investire tempo e risorse in etici dell’AI per eseguire test avversari per comprendere i difetti di progettazione. Ciò ci aiuterà a capire come prevenire l’abuso, e credo che sia probabilmente l’aspetto più importante dell’AI responsabile.

Perché l’AI non può ancora pensare da sola, abbiamo bisogno di persone intelligenti che possano costruire questi default quando l’AI viene programmata. L’aspetto importante da considerare in questo momento è il timing – abbiamo bisogno di questi attori positivi che fanno queste cose ORA prima che sia troppo tardi.

A differenza di altri sistemi che abbiamo progettato e costruito in passato, l’AI è diversa perché può iterare e imparare da sola, quindi se non si stabiliscono solide barriere di sicurezza su ciò e come sta imparando, non possiamo controllare cosa potrebbe diventare.

Al momento, stiamo vedendo alcune grandi aziende licenziare consigli di etica e team di AI responsabile come parte di grandi licenziamenti. Rimane da vedere quanto seriamente queste aziende tecnologiche stanno prendendo la tecnologia e quanto stanno esaminando i potenziali difetti dell’AI nella loro presa di decisioni.

C’è qualcos’altro che ti piacerebbe condividere sul tuo lavoro con SmartNews?

Mi sono unito a SmartNews perché credo nella sua missione, la missione ha una certa purezza. Credo fortemente che il mondo stia diventando più polarizzato, e non c’è abbastanza alfabetizzazione dei media oggi per aiutare a combattere questa tendenza.

Purtroppo, ci sono troppe persone che prendono i messaggi di WhatsApp come vangelo e li credono a occhi chiusi. Ciò può portare a conseguenze tremende, comprese – e specialmente – la violenza. Tutto ciò si riduce al fatto che le persone non capiscono cosa possono e non possono credere.

Se non educiamo le persone, o non le informiamo su come prendere decisioni sull’affidabilità di ciò che stanno consumando. Se non introduciamo livelli di alfabetizzazione dei media per distinguere tra notizie e notizie false, continueremo ad avallare il problema e aumentare i problemi che la storia ci ha insegnato a non fare.

Uno dei componenti più importanti del mio lavoro a SmartNews è aiutare a ridurre la polarizzazione nel mondo. Voglio adempiere alla missione del fondatore di migliorare l’alfabetizzazione dei media, in modo che le persone possano capire cosa stanno consumando e prendere decisioni informate sul mondo e le molteplici prospettive diverse.

Grazie per la grande intervista, i lettori che desiderano saperne di più o provare un tipo diverso di app di notizie possono visitare SmartNews.