Arjun Narayan, Chefe de Confiança e Segurança Global da SmartNews – Série de Entrevistas

Arjun Narayan, é o Chefe de Confiança e Segurança Global da SmartNews um aplicativo de agregador de notícias, ele também é um especialista em ética de IA e política de tecnologia. A SmartNews usa IA e uma equipe editorial humana para agregar notícias para os leitores.

Você foi fundamental para ajudar a estabelecer o hub de Confiança e Segurança da Google na Ásia-Pacífico em Cingapura, quais foram algumas das principais lições que você aprendeu com essa experiência?

Quando se constrói equipes de Confiança e Segurança, a expertise em nível de país é fundamental porque o abuso é muito diferente com base no país que você está regulamentando. Por exemplo, a forma como os produtos da Google (GOOGL ) eram abusados no Japão era diferente da forma como eram abusados no Sudeste Asiático e na Índia. Isso significa que os vetores de abuso são muito diferentes dependendo de quem está abusando e do país em que você está baseado; portanto, não há homogeneidade. Essa foi algo que aprendemos cedo.

Eu também aprendi que a diversidade cultural é incrivelmente importante ao construir equipes de Confiança e Segurança no exterior. Na Google, garantimos que houvesse diversidade cultural e compreensão suficiente dentro das pessoas que contratamos. Estávamos procurando por pessoas com expertise específica em domínio, mas também por expertise em linguagem e mercado.

Eu também encontrei a imersão cultural como incrivelmente importante. Quando estamos construindo equipes de Confiança e Segurança através de fronteiras, precisamos garantir que nossas equipes de engenharia e negócios possam se imergir. Isso ajuda a garantir que todos estejam mais próximos dos problemas que estamos tentando gerenciar. Para fazer isso, fizemos sessões de imersão trimestrais com pessoal-chave, e isso ajudou a aumentar a inteligência cultural de todos.

Finalmente, a compreensão intercultural foi tão importante. Eu gerenciei uma equipe no Japão, Austrália, Índia e Sudeste Asiático, e a forma como eles interagiam era muito diferente. Como líder, você quer garantir que todos possam encontrar sua voz. Em última análise, tudo isso é projetado para construir uma equipe de alto desempenho que possa executar tarefas sensíveis como Confiança e Segurança.

Anteriormente, você também fez parte da equipe de Confiança e Segurança da ByteDance para o aplicativo TikTok, como os vídeos que são frequentemente menores que um minuto são monitorados efetivamente para segurança?

Eu quero redefinir um pouco essa pergunta, porque não importa realmente se um vídeo é curto ou longo. Isso não é um fator quando avaliamos a segurança do vídeo, e o comprimento não tem peso real sobre se um vídeo pode espalhar abuso.

Quando eu penso em abuso, eu penso em abuso como “problemas”. Quais são alguns dos problemas que os usuários são vulneráveis? Desinformação? Desinformação? Seja qual for o comprimento do vídeo, 1 minuto ou 1 hora, ainda há desinformação sendo compartilhada e o nível de abuso permanece comparável.

Dependendo do tipo de problema, você começa a pensar sobre a aplicação de políticas e guardrails de segurança e como você pode proteger usuários vulneráveis. Como exemplo, digamos que há um vídeo de alguém cometendo autolesão. Quando recebemos a notificação de que esse vídeo existe, é necessário agir com urgência, porque alguém pode perder a vida. Dependemos muito do aprendizado de máquina para fazer esse tipo de detecção. O primeiro movimento é sempre entrar em contato com as autoridades para tentar salvar essa vida, nada é mais importante. A partir daí, visamos suspender o vídeo, transmissão ao vivo ou qualquer formato em que ele esteja sendo compartilhado. Precisamos garantir que estamos minimizando a exposição a esse tipo de conteúdo prejudicial o mais rápido possível.

Da mesma forma, se for discurso de ódio, há diferentes maneiras de desempacotá-lo. Ou no caso de bullying e assédio, realmente depende do tipo de problema, e dependendo disso, ajustaríamos nossas opções de aplicação e guardrails de segurança. Outro exemplo de um bom guardrail de segurança foi que implementamos aprendizado de máquina que poderia detectar quando alguém escreve algo inapropriado nos comentários e fornecer um prompt para fazê-los pensar duas vezes antes de postar esse comentário. Não os impediríamos necessariamente, mas nossa esperança era que as pessoas pensassem duas vezes antes de compartilhar algo cruel.

Isso se resume a uma combinação de aprendizado de máquina e regras de palavras-chave. Mas, quando se trata de transmissões ao vivo, também tínhamos moderadores humanos revisando essas transmissões que foram sinalizadas pela IA para que pudessem relatar imediatamente e implementar protocolos. Porque elas estão acontecendo em tempo real, não é suficiente confiar nos usuários para relatar, então precisamos ter humanos monitorando em tempo real.

Desde 2021, você é o Chefe de Confiança, Segurança e Experiência do Cliente da SmartNews, um aplicativo de agregador de notícias. Você poderia discutir como a SmartNews utiliza aprendizado de máquina e processamento de linguagem natural para identificar e priorizar conteúdo de notícias de alta qualidade?

O conceito central é que temos certas “regras” ou tecnologia de aprendizado de máquina que pode analisar um artigo ou anúncio e entender sobre o que é aquele artigo.

Sempre que há algo que viola nossas “regras”, digamos que algo é factualmente incorreto ou enganoso, temos aprendizado de máquina que sinaliza esse conteúdo para um revisor humano em nossa equipe editorial. Nessa etapa, um deles entende nossos valores editoriais e pode rapidamente revisar o artigo e fazer um julgamento sobre sua adequação ou qualidade. A partir daí, são tomadas ações para abordá-lo.

Como a SmartNews usa IA para garantir que a plataforma seja segura, inclusiva e objetiva?

A SmartNews foi fundada com base no pressuposto de que a hiper-personalização é boa para o ego, mas também é polarizadora, reforçando preconceitos e colocando as pessoas em uma bolha de filtro.

A forma como a SmartNews usa IA é um pouco diferente porque não estamos otimizando exclusivamente para engajamento. Nosso algoritmo quer entender você, mas não está necessariamente hiper-personalizando para seu gosto. Isso porque acreditamos em ampliar perspectivas. Nosso motor de IA vai introduzir você a conceitos e artigos além de conceitos adjacentes.

A ideia é que há coisas que as pessoas precisam saber no interesse público, e há coisas que as pessoas precisam saber para ampliar seu escopo. O equilíbrio que tentamos alcançar é fornecer essas análises contextuais sem sermos big-brotherly. Às vezes, as pessoas não vão gostar das coisas que nosso algoritmo coloca em sua feed. Quando isso acontece, as pessoas podem escolher não ler aquele artigo. No entanto, estamos orgulhosos da capacidade do motor de IA de promover serendipidade, curiosidade, ou o que você quiser chamar.

No lado da segurança, a SmartNews tem algo chamado de “Pontuação do Publicador”, isso é um algoritmo projetado para avaliar constantemente se um publicador é seguro ou não. Em última análise, queremos estabelecer se um publicador tem uma voz autoritária. Como exemplo, todos podemos concordar coletivamente que a ESPN é uma autoridade em esportes. Mas, se você é um blog aleatório copiando conteúdo da ESPN, precisamos garantir que a ESPN esteja classificada acima daquele blog aleatório. A pontuação do publicador também considera fatores como originalidade, quando os artigos foram publicados, como os comentários dos usuários parecem, etc. É, em última análise, um espectro de muitos fatores que consideramos.

Uma coisa que supera tudo é “O que o usuário quer ler?” Se um usuário quer visualizar artigos de clickbait, não os impediremos se não for ilegal ou violar nossas diretrizes. Não impomos ao usuário, mas se algo for inseguro ou inadequado, temos nosso devido cuidado antes que algo atinja a feed.

Quais são suas opiniões sobre jornalistas usando IA gerativa para ajudá-los a produzir conteúdo?

Eu acredito que essa é uma questão ética, e algo que estamos debatendo atualmente aqui na SmartNews. Como a SmartNews deve ver publicadores que submetem conteúdo formado por IA em vez de jornalistas que o escrevem?

Eu acredito que o trem já partiu. Hoje, os jornalistas estão usando IA para aumentar sua escrita. É uma questão de escala, não temos tempo no mundo para produzir artigos a uma taxa comercialmente viável, especialmente à medida que as organizações de notícias continuam a cortar funcionários. A pergunta então se torna, quanto criatividade vai nisso? O artigo é polido pelo jornalista? Ou o jornalista está completamente dependente?

Na minha perspectiva, trabalhando com a SmartNews, há dois princípios que eu acho que valem a pena considerar. Primeiramente, queremos que os publicadores sejam transparentes em nos dizer quando o conteúdo foi gerado por IA, e queremos rotulá-lo como tal. Dessa forma, quando as pessoas estão lendo o artigo, elas não são enganadas sobre quem escreveu o artigo. Isso é transparência em seu nível mais alto.

Em segundo lugar, queremos que o artigo seja factualmente correto. Sabemos que a IA gerativa tende a inventar coisas quando quer, e qualquer artigo escrito por IA precisa ser revisado por um jornalista ou equipe editorial.

Você argumentou anteriormente que as plataformas de tecnologia devem se unir e criar padrões comuns para lutar contra a toxicidade digital, quão importante é essa questão?

Eu acredito que essa questão é de importância crítica, não apenas para que as empresas operem eticamente, mas para manter um nível de dignidade e civilidade. Na minha opinião, as plataformas devem se unir e desenvolver certos padrões para manter essa humanidade. Como exemplo, ninguém deve nunca ser incentivado a tirar sua própria vida, mas em algumas situações, encontramos esse tipo de abuso em plataformas, e eu acredito que é algo que as empresas devem se unir para proteger.

Em última análise, quando se trata de problemas de humanidade, não deve haver competição. Não deve haver competição sobre quem é a comunidade mais limpa ou mais segura – devemos todos visar garantir que os usuários se sintam seguros e compreendidos. Vamos competir em recursos, não em exploração.

Quais são algumas maneiras pelas quais as empresas digitais podem trabalhar juntas?

As empresas devem se unir quando há valores compartilhados e a possibilidade de colaboração. Sempre há espaços onde há interseção entre empresas e indústrias, especialmente quando se trata de lutar contra abuso, garantir civilidade em plataformas ou reduzir polarização. Esses são momentos em que as empresas devem trabalhar juntas.

Existe, é claro, um ângulo comercial com competição, e normalmente a competição é boa. Isso ajuda a garantir força e diferenciação entre empresas e entrega soluções com um nível de eficácia que monopólios não podem garantir.

Mas, quando se trata de proteger os usuários, ou promover civilidade, ou reduzir vetores de abuso, essas são questões que são centrais para nós preservarmos o mundo livre. São coisas que precisamos fazer para garantir que protejamos o que é sagrado para nós, e nossa humanidade. Na minha opinião, todas as plataformas têm a responsabilidade de colaborar em defesa de valores humanos e dos valores que nos tornam um mundo livre.

Quais são suas opiniões atuais sobre IA responsável?

Estamos no início de algo muito disseminado em nossas vidas. Essa próxima fase de IA gerativa é um problema que não entendemos completamente, ou que podemos apenas parcialmente compreender nesse momento.

Quando se trata de IA responsável, é incrivelmente importante que desenvolvamos fortes guardrails, ou podemos acabar com um monstro de Frankenstein de tecnologias de IA gerativa. Precisamos gastar tempo pensando sobre tudo o que pode dar errado. Seja o viés que se infiltra nos algoritmos, ou os grandes modelos de linguagem sendo usados pelas pessoas erradas para fazer atos nefastos.

A tecnologia em si não é boa ou ruim, mas pode ser usada por pessoas más para fazer coisas más. É por isso que investir tempo e recursos em éticos de IA para fazer testes adversários para entender as falhas de design é tão crítico. Isso nos ajudará a entender como prevenir abuso, e eu acho que essa é provavelmente a aspecto mais importante de IA responsável.

Porque a IA ainda não pode pensar por si mesma, precisamos de pessoas inteligentes que possam construir esses padrões quando a IA está sendo programada. O aspecto importante a considerar agora é o timing – precisamos desses atores positivos fazendo essas coisas AGORA antes que seja tarde demais.

Diferentemente de outros sistemas que projetamos e construímos no passado, a IA é diferente porque pode iterar e aprender por conta própria, então, se você não configurar fortes guardrails sobre o que e como está aprendendo, não podemos controlar o que ela pode se tornar.

Agora, estamos vendo algumas grandes empresas demitindo conselhos de ética e equipes de IA responsável como parte de grandes demissões. Permanece por ser visto com que seriedade esses principais de tecnologia estão levando a tecnologia e revisando os possíveis fracassos da IA em sua tomada de decisão.

Há algo mais que você gostaria de compartilhar sobre seu trabalho com a SmartNews?

Eu me juntei à SmartNews porque acredito na sua missão, a missão tem uma certa pureza nela. Eu acredito firmemente que o mundo está se tornando mais polarizado, e não há suficiente alfabetização midiática hoje para ajudar a combater essa tendência.

Infelizmente, há muitas pessoas que tomam mensagens do WhatsApp como evangelho e acreditam nelas a valor face. Isso pode levar a consequências tremendas, incluindo – e especialmente – violência. Tudo isso se resume a pessoas não entendendo o que podem e não podem acreditar.

Se não educarmos as pessoas, ou as informarmos sobre como tomar decisões sobre a confiabilidade do que estão consumindo. Se não introduzirmos níveis de alfabetização midiática para discernir entre notícias e notícias falsas, continuaremos a defender o problema e aumentar os problemas que a história nos ensinou a não fazer.

Um dos componentes mais importantes do meu trabalho na SmartNews é ajudar a reduzir a polarização no mundo. Eu quero cumprir a missão do fundador de melhorar a alfabetização midiática, onde as pessoas possam entender o que estão consumindo e fazer opiniões informadas sobre o mundo e as muitas perspectivas diversas.

Obrigado pela grande entrevista, leitores que desejam aprender mais ou querem experimentar um tipo diferente de aplicativo de notícias devem visitar SmartNews.