Arjun Narayan, Head of Global Trust and Safety for SmartNews – Intervista di Serie

Arjun Narayan, è il responsabile della fiducia e della sicurezza globale per SmartNews un’app di aggregazione di notizie, è anche un esperto di etica dell’AI e di politiche tecnologiche. SmartNews utilizza l’AI e un team editoriale umano per aggregare notizie per i lettori.

Lei è stato fondamentale nell’aiutare a stabilire il centro di Trust & Safety di Google per l’Asia Pacifico a Singapore, quali sono state alcune delle lezioni chiave che ha imparato da questa esperienza?

Quando si costruiscono team di Trust and Safety, l’esperienza a livello di paese è critica perché l’abuso è molto diverso in base al paese che si regola. Ad esempio, il modo in cui i prodotti di Google sono stati abusati in Giappone era diverso da come sono stati abusati in Sud-Est Asia e India. Ciò significa che i vettori di abuso sono molto diversi a seconda di chi sta abusando e del paese in cui ci si trova; quindi non c’è omogeneità. Questo è qualcosa che abbiamo imparato presto.

Ho anche imparato che la diversità culturale è incredibilmente importante quando si costruiscono team di Trust and Safety all’estero. In Google, ci siamo assicurati che ci fosse sufficiente diversità culturale e comprensione all’interno delle persone che assumevamo. Stavamo cercando persone con specifiche competenze di dominio, ma anche con competenze linguistiche e di mercato.

Ho anche trovato che l’immersione culturale è incredibilmente importante. Quando costruiamo team di Trust and Safety attraverso i confini, dobbiamo assicurarci che i nostri team di ingegneria e commerciale possano immergersi. Ciò aiuta a garantire che tutti siano più vicini ai problemi che stiamo cercando di gestire. Per farlo, abbiamo fatto sessioni di immersione trimestrali con il personale chiave, e ciò ha aiutato a aumentare l’intelligenza culturale di tutti.

Infine, la comprensione interculturale è stata così importante. Ho gestito un team in Giappone, Australia, India e Sud-Est Asia, e il modo in cui hanno interagito era incredibilmente diverso. Come leader, si vuole assicurarsi che tutti possano trovare la loro voce. In definitiva, tutto ciò è progettato per costruire un team ad alte prestazioni che possa eseguire compiti sensibili come Trust and Safety.

In precedenza, lei faceva anche parte del team di Trust & Safety di ByteDance per l’applicazione TikTok, come vengono monitorati efficacemente i video che sono spesso più brevi di un minuto per la sicurezza?

Vorrei riformulare un po’ questa domanda, perché non importa realmente se un video è breve o lungo. Ciò non è un fattore quando valutiamo la sicurezza del video, e la lunghezza non ha un peso reale su quanto un video possa diffondere abusi.

Quando penso all’abuso, penso all’abuso come “problemi”. Quali sono alcuni dei problemi ai quali gli utenti sono vulnerabili? Disinformazione? Mancanza di informazione? Che il video duri 1 minuto o 1 ora, c’è comunque disinformazione condivisa e il livello di abuso rimane paragonabile.

A seconda del tipo di problema, si inizia a pensare all’applicazione delle politiche e alle barriere di sicurezza e a come si possa proteggere gli utenti vulnerabili. Ad esempio, supponiamo che ci sia un video di qualcuno che si fa del male. Quando riceviamo la notifica che questo video esiste, si deve agire con urgenza, perché qualcuno potrebbe perdere la vita. Ci affidiamo molto all’apprendimento automatico per rilevare questo tipo di rilevamento. Il primo passo è sempre contattare le autorità per cercare di salvare quella vita, nulla è più importante. Da lì, ci impegniamo a sospendere il video, la diretta o qualsiasi formato in cui viene condiviso. Dobbiamo assicurarci di minimizzare l’esposizione a quel tipo di contenuto dannoso il più presto possibile.

Allo stesso modo, se si tratta di discorso d’odio, ci sono modi diversi per affrontare il problema. O nel caso di bullismo e molestie, dipende realmente dal tipo di problema, e a seconda di ciò, aggiustiamo le nostre opzioni di applicazione e le barriere di sicurezza. Un altro esempio di buona barriera di sicurezza è che abbiamo implementato un’apprendimento automatico che può rilevare quando qualcuno scrive qualcosa di inappropriato nei commenti e fornire un prompt per farli riflettere due volte prima di pubblicare quel commento. Non li fermeremmo necessariamente, ma la nostra speranza è che le persone pensino due volte prima di condividere qualcosa di cattivo.

Si tratta di una combinazione di apprendimento automatico e regole di parole chiave. Tuttavia, quando si tratta di dirette, abbiamo anche moderatori umani che esaminano quelle dirette segnalate dall’AI in modo che possano segnalare immediatamente e attuare protocolli. Poiché si verificano in tempo reale, non è sufficiente affidarsi agli utenti per segnalare, quindi dobbiamo avere esseri umani che monitorano in tempo reale.

Dal 2021, lei è il responsabile della fiducia, della sicurezza e dell’esperienza del cliente di SmartNews, un’app di aggregazione di notizie. Potrebbe discutere di come SmartNews sfrutta l’apprendimento automatico e l’elaborazione del linguaggio naturale per identificare e priorizzare contenuti di notizie di alta qualità?

Il concetto centrale è che abbiamo determinate “regole” o tecnologia di apprendimento automatico che possono analizzare un articolo o un annuncio e capire di cosa tratta.

Ogni volta che c’è qualcosa che viola le nostre “regole”, ad esempio qualcosa di falsamente esatto o fuorviante, abbiamo un’apprendimento automatico che segnala quel contenuto a un revisore umano del nostro team editoriale. A quel punto, un revisore capisce i nostri valori editoriali e può rapidamente esaminare l’articolo e prendere una decisione sulla sua idoneità o qualità. Da lì, vengono intraprese azioni per affrontare il problema.

Come utilizza SmartNews l’AI per garantire che la piattaforma sia sicura, inclusiva e obiettiva?

SmartNews è stata fondata sul principio che l’iper-personalizzazione è buona per l’ego, ma è anche polarizzante, rafforzando i pregiudizi e mettendo le persone in una bolla di filtro.

Il modo in cui SmartNews utilizza l’AI è un po’ diverso perché non stiamo esclusivamente ottimizzando per l’engagement. Il nostro algoritmo vuole capire te, ma non ti sta iper-personalizzando ai tuoi gusti. Ciò perché crediamo nell’allargare le prospettive. Il nostro motore AI ti introduce a concetti e articoli al di là dei concetti adiacenti.

L’idea è che ci sono cose che le persone devono sapere nell’interesse pubblico e ci sono cose che le persone devono sapere per allargare la loro prospettiva. L’equilibrio che cerchiamo di raggiungere è fornire queste analisi contestuali senza essere eccessivamente invasivi. A volte le persone non apprezzeranno le cose che il nostro algoritmo mette nel loro feed. Quando accade, le persone possono scegliere di non leggere quell’articolo. Tuttavia, siamo orgogliosi della capacità del motore AI di promuovere la serendipità, la curiosità, o come si vuole chiamarla.

Sul lato della sicurezza, SmartNews ha qualcosa chiamato “Punteggio dell’editore”, questo è un algoritmo progettato per valutare costantemente se un editore è sicuro o meno. In definitiva, vogliamo stabilire se un editore ha una voce autorevole. Ad esempio, possiamo tutti collettivamente concordare che ESPN è un’autorità nello sport. Ma se sei un blog casuale che copia il contenuto di ESPN, dobbiamo assicurarci che ESPN sia classificato più in alto di quel blog casuale. Il punteggio dell’editore considera anche fattori come l’originalità, quando gli articoli sono stati pubblicati, come appaiono le recensioni degli utenti, ecc. È essenzialmente uno spettro di molti fattori che consideriamo.

Una cosa che supera tutto è “Cosa vuole leggere l’utente?” Se un utente vuole visualizzare articoli di clickbait, non li fermeremo se non è illegale o non viola le nostre linee guida. Non imponiamo all’utente, ma se qualcosa è insicuro o inappropriato, abbiamo il nostro dovere di diligenza prima che qualcosa colpisca il feed.

Quali sono le sue opinioni sull’uso dell’AI generativa da parte dei giornalisti per assistere nella produzione di contenuti?

Credo che questa domanda sia etica e qualcosa che stiamo attualmente dibattendo qui a SmartNews. Come dovrebbe SmartNews considerare gli editori che presentano contenuti formati dall’AI generativa invece di giornalisti che li scrivono?

Credo che il treno è ufficialmente partito. Oggi, i giornalisti utilizzano l’AI per aumentare la loro scrittura. È una funzione di scala, non abbiamo il tempo nel mondo per produrre articoli a un tasso commercialmente fattibile, specialmente poiché le organizzazioni di notizie continuano a tagliare il personale. La domanda diventa quindi, quanto creatività va in questo? L’articolo è stato lucidato dal giornalista? O il giornalista si affida completamente?

A questo punto, l’AI generativa non è in grado di scrivere articoli su eventi di notizie in corso perché non c’è dati di formazione per questo. Tuttavia, può ancora darti un modello di base abbastanza buono per farlo. Ad esempio, le sparatorie nelle scuole sono così comuni, potremmo supporre che l’AI generativa possa darti un prompt sulle sparatorie nelle scuole e un giornalista potrebbe inserire la scuola che è stata colpita per ricevere un modello completo.

Dal mio punto di vista, lavorando con SmartNews, ci sono due principi che credo valgano la pena di considerare. In primo luogo, vogliamo che gli editori siano trasparenti nel dirci quando il contenuto è stato generato dall’AI e vogliamo etichettarlo come tale. In questo modo, quando le persone leggono l’articolo, non vengono ingannate su chi ha scritto l’articolo. Questa è la trasparenza al più alto livello.

In secondo luogo, vogliamo che quell’articolo sia factualmente corretto. Sappiamo che l’AI generativa tende a inventare le cose quando vuole, e qualsiasi articolo scritto dall’AI generativa deve essere verificato da un giornalista o dal personale editoriale.

Lei ha precedentemente sostenuto che le piattaforme tecnologiche dovrebbero unirsi e creare standard comuni per combattere la tossicità digitale, quanto importante è questo problema?

Credo che questo problema sia di importanza critica, non solo per le aziende che operano eticamente, ma per mantenere un livello di dignità e civiltà. A mio parere, le piattaforme dovrebbero unirsi e sviluppare determinati standard per mantenere quest’umanità. Ad esempio, nessuno dovrebbe mai essere incoraggiato a prendere la propria vita, ma in alcune situazioni, troviamo questo tipo di abuso sulle piattaforme, e credo che sia qualcosa che le aziende dovrebbero unirsi per proteggere.

In definitiva, quando si tratta di problemi di umanità, non dovrebbe esserci concorrenza. Non dovrebbe esserci concorrenza su chi ha la comunità più pulita o più sicura – dovremmo tutti puntare a garantire che i nostri utenti si sentano al sicuro e capiti. Competiamo sulle funzionalità, non sull’Sfruttamento.

Quali sono alcuni modi in cui le aziende digitali possono lavorare insieme?

Le aziende dovrebbero unirsi quando ci sono valori condivisi e la possibilità di collaborazione. Ci sono sempre spazi in cui c’è intersezionalità tra aziende e settori, specialmente quando si tratta di combattere l’abuso, garantire la civiltà nelle piattaforme o ridurre la polarizzazione. Questi sono momenti in cui le aziende dovrebbero lavorare insieme.

C’è naturalmente un angolo commerciale con la concorrenza, e di solito la concorrenza è buona. Aiuta a garantire la forza e la differenziazione tra le aziende e fornisce soluzioni con un livello di efficacia che i monopoli non possono garantire.

Tuttavia, quando si tratta di proteggere gli utenti, o promuovere la civiltà, o ridurre i vettori di abuso, queste sono questioni che sono fondamentali per noi per preservare il mondo libero. Queste sono cose che dobbiamo fare per garantire di proteggere ciò che è sacro per noi e la nostra umanità. A mio parere, tutte le piattaforme hanno la responsabilità di collaborare in difesa dei valori umani e dei valori che ci rendono un mondo libero.

Quali sono le sue attuali opinioni sull’AI responsabile?

Siamo all’inizio di qualcosa di molto pervasivo nella nostra vita. Questa prossima fase di AI generativa è un problema che non comprendiamo completamente o possiamo solo parzialmente comprendere a questo punto.

Quando si tratta di AI responsabile, è così incredibilmente importante che sviluppiamo solide barriere di protezione, altrimenti potremmo finire con un mostro di Frankenstein di tecnologie di AI generativa. Dobbiamo spendere il tempo a pensare a tutto ciò che potrebbe andare storto. Che si tratti di pregiudizi che si insinuano negli algoritmi o di modelli di linguaggio di grandi dimensioni che vengono utilizzati dalle persone sbagliate per fare atti nefasti.

La tecnologia stessa non è buona o cattiva, ma può essere utilizzata da cattive persone per fare cose cattive. Questo è il motivo per cui investire tempo e risorse in etici dell’AI per eseguire test avversari per comprendere i difetti di progettazione è così critico. Ciò ci aiuterà a capire come prevenire l’abuso e credo che sia probabilmente l’aspetto più importante dell’AI responsabile.

Poiché l’AI non può ancora pensare da sola, abbiamo bisogno di persone intelligenti che possano costruire questi default quando l’AI viene programmata. L’aspetto importante da considerare adesso è il timing – abbiamo bisogno di questi attori positivi che fanno queste cose ORA prima che sia troppo tardi.

A differenza di altri sistemi che abbiamo progettato e costruito in passato, l’AI è diversa perché può iterare e imparare da sola, quindi se non si impostano solide barriere di protezione su ciò che e come sta imparando, non possiamo controllare cosa potrebbe diventare.

Al momento, stiamo vedendo alcune grandi aziende licenziare consigli di etica e team di AI responsabile come parte di grandi licenziamenti. Rimane da vedere quanto seriamente queste grandi aziende tecnologiche stanno prendendo la tecnologia e quanto seriamente stanno esaminando i potenziali svantaggi dell’AI nella loro presa di decisioni.

C’è qualcos’altro che lei vorrebbe condividere sul suo lavoro con SmartNews?

Mi sono unito a SmartNews perché credo nella sua missione, la missione ha una certa purezza. Credo fortemente che il mondo stia diventando più polarizzato e non ci sia abbastanza alfabetizzazione dei media oggi per aiutare a combattere questa tendenza.

Purtroppo, ci sono troppe persone che prendono i messaggi di WhatsApp come vangelo e li credono a prima vista. Ciò può portare a conseguenze tremende, compresa – e specialmente – la violenza. Tutto ciò si riduce al fatto che le persone non capiscono cosa possono e non possono credere.

Se non educiamo le persone o non le informiamo su come prendere decisioni sull’affidabilità di ciò che stanno consumando. Se non introduciamo livelli di alfabetizzazione dei media per distinguere tra notizie e notizie false, continueremo ad avallare il problema e aumentare i problemi che la storia ci ha insegnato a non fare.

Uno dei componenti più importanti del mio lavoro a SmartNews è aiutare a ridurre la polarizzazione nel mondo. Voglio adempiere alla missione del fondatore di migliorare l’alfabetizzazione dei media in modo che le persone possano capire cosa stanno consumando e prendere decisioni informate sul mondo e le molteplici prospettive diverse.

Grazie per la grande intervista, i lettori che desiderano saperne di più o vogliono provare un tipo diverso di app di notizie possono visitare SmartNews.