Arjun Narayan, Jefe de Confianza y Seguridad Global para SmartNews – Serie de Entrevistas

Arjun Narayan, es el Jefe de Confianza y Seguridad Global para SmartNews una aplicación de agregador de noticias, también es un experto en ética de la inteligencia artificial y políticas tecnológicas. SmartNews utiliza inteligencia artificial y un equipo editorial humano para agregar noticias para los lectores.

¿Cuáles fueron algunas de las lecciones clave que aprendiste al ayudar a establecer el centro de Confianza y Seguridad de Google en Asia-Pacífico en Singapur?

Al construir equipos de Confianza y Seguridad, la experiencia a nivel de país es fundamental porque el abuso es muy diferente según el país que se esté regulando. Por ejemplo, la forma en que los productos de Google (GOOGL ) fueron abusados en Japón fue diferente a cómo fueron abusados en el sudeste de Asia y la India. Esto significa que los vectores de abuso son muy diferentes dependiendo de quién esté abusando y en qué país se basa; por lo tanto, no hay homogeneidad. Esto es algo que aprendimos desde el principio.

También aprendí que la diversidad cultural es increíblemente importante al construir equipos de Confianza y Seguridad en el extranjero. En Google, nos aseguramos de que hubiera suficiente diversidad cultural y comprensión dentro de las personas que contratamos. Estábamos buscando personas con experiencia específica en el dominio, pero también con experiencia en idiomas y mercados.

También encontré que la inmersión cultural es increíblemente importante. Cuando estamos construyendo equipos de Confianza y Seguridad a través de fronteras, necesitamos asegurarnos de que nuestros equipos de ingeniería y negocios puedan sumergirse. Esto ayuda a asegurarse de que todos estén más cerca de los problemas que estamos tratando de gestionar. Para hacer esto, realizamos sesiones de inmersión trimestrales con personal clave, y eso ayudó a aumentar el coeficiente intelectual cultural de todos.

Finalmente, la comprensión intercultural fue tan importante. Manejé un equipo en Japón, Australia, India y el sudeste de Asia, y la forma en que interactuaban era muy diferente. Como líder, quieres asegurarte de que todos puedan encontrar su voz. En última instancia, todo esto está diseñado para construir un equipo de alto rendimiento que pueda ejecutar tareas sensibles como la Confianza y la Seguridad.

Anteriormente, también estuviste en el equipo de Confianza y Seguridad de ByteDance para la aplicación TikTok, ¿cómo se monitorean efectivamente los videos que a menudo son más cortos de un minuto para la seguridad?

Quiero reformular un poco esta pregunta, porque no importa realmente si un video es corto o de larga duración. Eso no es un factor cuando evaluamos la seguridad del video, y la duración no tiene un peso real en si un video puede difundir abuso.

Cuando pienso en abuso, pienso en “problemas”. ¿Cuáles son algunos de los problemas a los que los usuarios son vulnerables? Desinformación? Mala información? Ya sea que el video sea de 1 minuto o 1 hora, todavía se está compartiendo mala información y el nivel de abuso sigue siendo comparable.

Dependiendo del tipo de problema, comienzas a pensar en la aplicación de políticas y salvaguardias de seguridad, y cómo puedes proteger a los usuarios vulnerables. Por ejemplo, digamos que hay un video de alguien que se autolesiona. Cuando recibimos la notificación de que este video existe, debemos actuar con urgencia, porque alguien podría perder la vida. Dependemos mucho de la inteligencia artificial para detectar este tipo de abuso. El primer movimiento es siempre contactar a las autoridades para tratar de salvar esa vida, nada es más importante. A partir de ahí, nos esforzamos por suspender el video, la transmisión en vivo o cualquier formato en el que se esté compartiendo. Necesitamos asegurarnos de que estemos minimizando la exposición a ese tipo de contenido dañino lo antes posible.

De manera similar, si se trata de discurso de odio, hay diferentes formas de desempacarlo. O en el caso de acoso y hostigamiento, realmente depende del tipo de problema, y dependiendo de eso, ajustaríamos nuestras opciones de aplicación y salvaguardias de seguridad. Otro ejemplo de una buena salvaguardia de seguridad fue que implementamos inteligencia artificial que podría detectar cuando alguien escribe algo inapropiado en los comentarios y proporcionar una llamada para que piensen dos veces antes de publicar ese comentario. No los detendríamos necesariamente, pero nuestra esperanza era que la gente pensara dos veces antes de compartir algo malo.

Se trata de una combinación de inteligencia artificial y reglas de palabras clave. Pero, cuando se trata de transmisiones en vivo, también teníamos moderadores humanos que revisaban esas transmisiones que fueron señaladas por la IA para que pudieran informar inmediatamente y implementar protocolos. Debido a que están sucediendo en tiempo real, no es suficiente confiar en que los usuarios informen, así que necesitamos tener humanos monitoreando en tiempo real.

Desde 2021, has sido el Jefe de Confianza, Seguridad y Experiencia del Cliente en SmartNews, una aplicación de agregador de noticias. ¿Podrías discutir cómo SmartNews utiliza la inteligencia artificial y el procesamiento del lenguaje natural para identificar y priorizar contenido de noticias de alta calidad?

El concepto central es que tenemos ciertas “reglas” o tecnología de inteligencia artificial que pueden analizar un artículo o anuncio y entender de qué se trata.

Siempre que haya algo que viole nuestras “reglas”, digamos que algo es factualmente incorrecto o engañoso, tenemos una bandera de inteligencia artificial que señala el contenido a un revisor humano en nuestro equipo editorial. En ese momento, ellos entienden nuestros valores editoriales y pueden revisar rápidamente el artículo y tomar una decisión sobre su idoneidad o calidad. A partir de ahí, se toman medidas para abordarlo.

¿Cómo utiliza SmartNews la inteligencia artificial para garantizar que la plataforma sea segura, inclusiva y objetiva?

SmartNews se fundó en el principio de que la hiperpersonalización es buena para el ego, pero también nos polariza a todos reforzando sesgos y poniéndonos en una burbuja de filtro.

La forma en que SmartNews utiliza la inteligencia artificial es un poco diferente porque no estamos optimizando exclusivamente para el compromiso. Nuestro algoritmo quiere entenderle, pero no está necesariamente hiperpersonalizando su gusto. Eso se debe a que creemos en ampliar las perspectivas. Nuestro motor de inteligencia artificial le presentará conceptos y artículos más allá de conceptos adyacentes.

La idea es que hay cosas que la gente necesita saber en el interés público, y hay cosas que la gente necesita saber para ampliar su alcance. El equilibrio que tratamos de mantener es proporcionar estos análisis contextuales sin ser como un hermano mayor. A veces, la gente no les gustarán las cosas que nuestro algoritmo pone en su feed. Cuando eso sucede, la gente puede elegir no leer ese artículo. Sin embargo, estamos orgullosos de la capacidad del motor de inteligencia artificial para promover la serendipidad, la curiosidad, lo que quieras llamarlo.

En el lado de la seguridad, SmartNews tiene algo llamado “Puntuación del editor”, esto es un algoritmo diseñado para evaluar constantemente si un editor es seguro o no. En última instancia, queremos establecer si un editor tiene una voz autorizada. Por ejemplo, todos podemos estar de acuerdo colectivamente en que ESPN es una autoridad en deportes. Pero, si eres un blog aleatorio que copia el contenido de ESPN, necesitamos asegurarnos de que ESPN esté clasificado más alto que ese blog aleatorio. La puntuación del editor también considera factores como originalidad, cuándo se publicaron los artículos, cómo se ven las reseñas de los usuarios, etc. Es un espectro de muchos factores que consideramos.

Una cosa que supera todo es “¿Qué quiere leer el usuario?” Si un usuario quiere ver artículos de clickbait, no lo detendremos si no es ilegal o viola nuestras directrices. No imponemos al usuario, pero si algo es inseguro o inapropiado, tenemos nuestra debida diligencia antes de que algo llegue al feed.

¿Cuáles son tus puntos de vista sobre los periodistas que utilizan inteligencia artificial generativa para ayudarlos a producir contenido?

Creo que esta es una pregunta ética, y algo que estamos debatiendo actualmente en SmartNews. ¿Cómo debería ver SmartNews a los editores que presentan contenido formado por inteligencia artificial generativa en lugar de periodistas que lo escriben?

Creo que ese tren ya ha salido de la estación. Hoy en día, los periodistas están utilizando inteligencia artificial para aumentar su escritura. Es una cuestión de escala, no tenemos el tiempo en el mundo para producir artículos a una tasa comercialmente viable, especialmente a medida que las organizaciones de noticias siguen recortando personal. La pregunta entonces se convierte en, ¿cuánta creatividad se pone en esto? ¿Está el artículo pulido por el periodista? ¿O el periodista confía completamente en él?

En este punto, la inteligencia artificial generativa no puede escribir artículos sobre eventos de noticias de última hora porque no hay datos de entrenamiento para ello. Sin embargo, todavía puede darte una plantilla genérica bastante buena para hacerlo. Por ejemplo, los tiroteos en las escuelas son tan comunes, podríamos asumir que la inteligencia artificial generativa podría darle a un periodista una plantilla sobre tiroteos en las escuelas y un periodista podría insertar la escuela que fue afectada para recibir una plantilla completa.

Desde mi punto de vista, trabajando con SmartNews, hay dos principios que creo que vale la pena considerar. Primero, queremos que los editores sean francos al decirnos cuándo el contenido fue generado por inteligencia artificial, y queremos etiquetarlo como tal. De esta manera, cuando la gente esté leyendo el artículo, no se engañarán sobre quién escribió el artículo. Esto es transparencia en su máxima expresión.

En segundo lugar, queremos que ese artículo sea factualmente correcto. Sabemos que la inteligencia artificial generativa tiende a inventar cosas cuando quiere, y cualquier artículo escrito por inteligencia artificial generativa necesita ser verificado por un periodista o personal editorial.

Anteriormente, argumentaste que las plataformas tecnológicas deben unirse y crear estándares comunes para luchar contra la toxicidad digital, ¿qué tan importante es este problema?

Creo que este problema es de importancia crítica, no solo para que las empresas operen éticamente, sino también para mantener un nivel de dignidad y civilidad. En mi opinión, las plataformas deben unirse y desarrollar ciertos estándares para mantener esta humanidad. Por ejemplo, nadie debería ser animado a quitarse la vida, pero en algunas situaciones, encontramos este tipo de abuso en las plataformas, y creo que eso es algo que las empresas deben unirse para proteger.

En última instancia, cuando se trata de problemas de humanidad, no debería haber competencia. No debería haber competencia sobre quién es la comunidad más limpia o segura; todos deberíamos apuntar a garantizar que nuestros usuarios se sientan seguros y comprendidos. Compitamos en características, no en explotación.

¿Cuáles son algunas formas en que las empresas digitales pueden trabajar juntas?

Las empresas deben unirse cuando hay valores compartidos y la posibilidad de colaboración. Siempre hay espacios donde hay intersección entre empresas e industrias, especialmente cuando se trata de luchar contra el abuso, garantizar la civilidad en las plataformas o reducir la polarización. Estos son momentos en los que las empresas deben trabajar juntas.

Por supuesto, hay un ángulo comercial con la competencia, y normalmente la competencia es buena. Ayuda a garantizar la fuerza y la diferenciación entre empresas y entrega soluciones con un nivel de eficacia que los monopolios no pueden garantizar.

Pero, cuando se trata de proteger a los usuarios, o promover la civilidad, o reducir los vectores de abuso, estos son temas que son fundamentales para nosotros para preservar el mundo libre. Estas son cosas que debemos hacer para garantizar que protejamos lo que es sagrado para nosotros, y nuestra humanidad. En mi opinión, todas las plataformas tienen la responsabilidad de colaborar en defensa de los valores humanos y los valores que nos hacen un mundo libre.

¿Cuáles son tus puntos de vista actuales sobre la inteligencia artificial responsable?

Estamos al comienzo de algo muy ubicuo en nuestras vidas. Esta próxima fase de inteligencia artificial generativa es un problema que no entendemos completamente, o solo podemos comprender parcialmente en este momento.

Cuando se trata de inteligencia artificial responsable, es increíblemente importante que desarrollemos fuertes salvaguardias, o de lo contrario podríamos terminar con un monstruo de Frankenstein de tecnologías de inteligencia artificial generativa. Necesitamos invertir el tiempo y los recursos en éticos de la inteligencia artificial para realizar pruebas adversas y comprender los fallos de diseño. Esto nos ayudará a entender cómo prevenir el abuso, y creo que eso es probablemente el aspecto más importante de la inteligencia artificial responsable.

La tecnología en sí no es buena ni mala, pero puede ser utilizada por personas malas para hacer cosas malas. Esto es por lo que invertir el tiempo y los recursos en éticos de la inteligencia artificial para realizar pruebas adversas y comprender los fallos de diseño es tan crítico. Esto nos ayudará a entender cómo prevenir el abuso, y creo que eso es probablemente el aspecto más importante de la inteligencia artificial responsable.

Porque la inteligencia artificial aún no puede pensar por sí misma, necesitamos personas inteligentes que puedan construir estos valores predeterminados cuando se programa la inteligencia artificial. El aspecto importante a considerar ahora es el momento; necesitamos que estos actores positivos hagan estas cosas AHORA antes de que sea demasiado tarde.

A diferencia de otros sistemas que hemos diseñado y construido en el pasado, la inteligencia artificial es diferente porque puede iterar y aprender por sí misma, así que si no establecemos fuertes salvaguardias sobre qué y cómo está aprendiendo, no podemos controlar lo que podría volverse.

En este momento, estamos viendo que algunas grandes empresas están despidiendo a los consejos de ética y equipos de inteligencia artificial responsable como parte de los despidos importantes. Queda por ver lo seriamente que estas grandes tecnológicas están tomando la tecnología y lo seriamente que están revisando los posibles fracasos de la inteligencia artificial en su toma de decisiones.

¿Hay algo más que te gustaría compartir sobre tu trabajo con SmartNews?

Me uní a SmartNews porque creo en su misión, la misión tiene una cierta pureza en ella. Creo firmemente que el mundo se está volviendo más polarizado, y no hay suficiente alfabetización mediática hoy en día para ayudar a combatir esa tendencia.

Desafortunadamente, hay demasiadas personas que toman los mensajes de WhatsApp como evangelio y los creen a ciegas. Eso puede llevar a consecuencias tremendas, incluyendo, y especialmente, violencia. Todo se reduce a que la gente no entiende qué pueden y no pueden creer.

Si no educamos a las personas, o no las informamos sobre cómo tomar decisiones sobre la confiabilidad de lo que están consumiendo. Si no introducimos niveles de alfabetización mediática para discernir entre noticias y noticias falsas, seguiremos abogando por el problema y aumentando los problemas que la historia nos ha enseñado que no debemos hacer.

Uno de los componentes más importantes de mi trabajo en SmartNews es ayudar a reducir la polarización en el mundo. Quiero cumplir la misión del fundador de mejorar la alfabetización mediática donde puedan entender lo que están consumiendo y tomar decisiones informadas sobre el mundo y las muchas perspectivas diversas.

Gracias por la gran entrevista, los lectores que desean aprender más o quieren probar un tipo diferente de aplicación de noticias deben visitar SmartNews.