La Prof. Julia Stoyanovich, Directora del Centro de Inteligencia Artificial Responsable – Serie de Entrevistas

Julia Stoyanovich, es profesora en la Escuela de Ingeniería Tandon de la Universidad de Nueva York y directora fundadora del Centro de Inteligencia Artificial Responsable. Recientemente, dio testimonio ante el Comité de Tecnología del Concejo de la Ciudad de Nueva York sobre un proyecto de ley que regularía el uso de la inteligencia artificial para la toma de decisiones de contratación y empleo.

Usted es la directora fundadora del Centro de Inteligencia Artificial Responsable en la Universidad de Nueva York. ¿Podría compartir con nosotros algunas de las iniciativas emprendidas por esta organización?

Co-dirijo el Centro de Inteligencia Artificial Responsable (R/AI) en la Universidad de Nueva York con Steven Kuyan. Steven y yo tenemos intereses y habilidades complementarios. Soy una académica con un trasfondo en ciencias de la computación y con un fuerte interés en el trabajo inspirado en el uso en la intersección de la ingeniería de datos, la ciencia de datos responsable y la política. Steven es el director gerente de los Laboratorios de Innovación del Futuro de la Universidad de Nueva York Tandon, una red de incubadoras y aceleradoras de startups que ya ha tenido un impacto económico tremendo en la ciudad de Nueva York. Nuestra visión para R/AI es ayudar a hacer que la “inteligencia artificial responsable” sea sinónimo de “inteligencia artificial”, a través de una combinación de investigación aplicada, educación pública y compromiso, y ayudando a las empresas grandes y pequeñas, especialmente a las pequeñas, a desarrollar una inteligencia artificial responsable.

En los últimos meses, R/AI ha participado activamente en conversaciones sobre la supervisión de los sistemas de decisión automatizados (ADS). Nuestro enfoque se basa en una combinación de actividades educativas y compromiso político.

La ciudad de Nueva York está considerando una ley propuesta, Int 1894, que regularía el uso de los ADS en la contratación a través de una combinación de auditorías y divulgación pública. R/AI presentó comentarios públicos sobre el proyecto de ley, basados en nuestra investigación y en los conocimientos que recopilamos de los buscadores de empleo a través de varias actividades de compromiso público.

También colaboramos con The GovLab en la Universidad de Nueva York y con el Instituto de Ética en Inteligencia Artificial de la Universidad Técnica de Múnich en un curso en línea gratuito llamado “Ética de la Inteligencia Artificial: Perspectivas Globales” que se lanzó a principios de este mes.

Otro proyecto reciente de R/AI que ha estado recibiendo mucha atención es nuestra serie de cómics “Datos, de manera responsable”. El primer volumen de la serie se llama “Espejo, espejo”, está disponible en inglés, español y francés, y es accesible con un lector de pantalla en los tres idiomas. El cómic recibió el premio Innovación del Mes de Metro Lab Network y GovTech, y fue cubierto por The Toronto Star, entre otros.

¿Cuáles son algunos de los problemas actuales o potenciales con el sesgo de la inteligencia artificial para la toma de decisiones de contratación y empleo?

Esta es una pregunta compleja que requiere que primero estemos claros sobre lo que entendemos por “sesgo”. Lo importante es que los sistemas de contratación automatizados son “análisis predictivos” – predicen el futuro basándose en el pasado. El pasado está representado por datos históricos sobre las personas que fueron contratadas por la empresa, y sobre cómo estas personas se desempeñaron. El sistema se “entrena” con estos datos, lo que significa que identifica patrones estadísticos y los utiliza para hacer predicciones. Estos patrones estadísticos son la “magia” de la inteligencia artificial, en lo que se basan los modelos predictivos. Claramente, pero importante, los datos históricos de los que se extrajeron estos patrones son silenciosos sobre las personas que no fueron contratadas porque simplemente no sabemos cómo se habrían desempeñado en el trabajo que no obtuvieron. Y aquí es donde entra en juego el sesgo. Si sistemáticamente contratamos a más personas de ciertos grupos demográficos y socioeconómicos, entonces la pertenencia a estos grupos y las características que conlleva se convertirán en parte del modelo predictivo. Por ejemplo, si solo vemos a graduados de universidades de élite siendo contratados para puestos ejecutivos, entonces el sistema no puede aprender que las personas que asistieron a una universidad diferente también podrían hacerlo bien. Es fácil ver un problema similar para el género, la raza y el estado de discapacidad.

El sesgo en la inteligencia artificial es mucho más amplio que solo el sesgo en los datos. Surge cuando intentamos utilizar la tecnología donde una solución técnica es simplemente inapropiada, o cuando establecemos los objetivos incorrectos para la inteligencia artificial – a menudo porque no tenemos una diversidad de voces en la mesa de diseño, o cuando renunciamos a nuestra agencia en las interacciones humanas-inteligencia artificial después de que la inteligencia artificial se ha desplegado. Cada una de estas razones para el sesgo merece su propia discusión que probablemente durará más que el espacio en este artículo. Y así, para mantener el enfoque, me gustaría regresar al sesgo en los datos.

Cuando explico el sesgo en los datos, me gusta utilizar la metáfora de la reflexión en un espejo. Los datos son una imagen del mundo, su reflexión en un espejo. Cuando pensamos en el sesgo en los datos, interrogamos esta reflexión. Una interpretación del “sesgo en los datos” es que la reflexión está distorsionada – nuestro espejo subrepresenta o sobrerepresenta algunas partes del mundo, o de otra manera distorsiona las lecturas. Otra interpretación del “sesgo en los datos” es que, incluso si la reflexión fuera 100% fiel, todavía sería una reflexión del mundo tal como es hoy, y no de cómo podría o debería ser. Es importante que no dependa de los datos o de un algoritmo decirnos si es una reflexión perfecta de un mundo roto, o una reflexión rota de un mundo perfecto, o si estas distorsiones se acumulan. Depende de las personas – individuos, grupos, la sociedad en general – llegar a un consenso sobre si estamos de acuerdo con el mundo tal como es, o, si no, cómo debemos mejorararlo.

Volvamos a los análisis predictivos: Cuanto más fuertes sean las disparidades en los datos, como una reflexión del pasado, más probable es que sean recogidas por los modelos predictivos y replicadas – e incluso exacerbadas – en el futuro.

Si nuestro objetivo es mejorar nuestras prácticas de contratación con un enfoque en la equidad y la diversidad, entonces simplemente no podemos externalizar este trabajo a las máquinas. Debemos hacer el trabajo difícil de identificar las verdaderas causas del sesgo en la contratación y el empleo de frente, y de negociar una solución socio-legal-técnica con la participación de todas las partes interesadas. La tecnología ciertamente tiene un papel que desempeñar en ayudarnos a mejorar el status quo: puede ayudarnos a ser honestos sobre nuestros objetivos y resultados. Pero pretender que la desviación de los datos o el análisis predictivo resolverá los problemas profundamente arraigados de la discriminación en la contratación es ingenuo en el mejor de los casos.

Recientemente, dio testimonio ante el Comité de Tecnología del Concejo de la Ciudad de Nueva York, un comentario impactante fue el siguiente: “Encontramos que tanto el presupuesto del anunciante como el contenido del anuncio contribuyen significativamente a la inclinación de la entrega de anuncios de Facebook (META ). Críticamente, observamos una inclinación significativa en la entrega a lo largo de las líneas de género y raza para anuncios ‘reales’ de empleo y vivienda a pesar de parámetros de destino neutrales.” ¿Cuáles son algunas soluciones para evitar este tipo de sesgo?

Este comentario que hice se basa en un artículo de Ali et al. llamado “Discriminación a través de la optimización: Cómo la entrega de anuncios de Facebook puede llevar a resultados sesgados”. Los autores encuentran que el mecanismo de entrega de anuncios en sí es responsable de introducir y amplificar efectos discriminatorios. Es evidente que este hallazgo es altamente problemático, especialmente porque se desarrolla contra el telón de fondo de la opacidad en Facebook y otras plataformas – Google (GOOGL ) y Twitter. La carga recae en las plataformas para demostrar urgentemente y de manera convincente que pueden controlar los efectos discriminatorios como los encontrados por Ali et al.. A falta de eso, no puedo encontrar una justificación para el uso continuado de la segmentación publicitaria personalizada en vivienda, empleo y otros dominios donde las vidas y los medios de vida de las personas están en juego.

¿Cómo pueden los científicos de datos y los desarrolladores de inteligencia artificial evitar mejor que otros sesgos no intencionados se filtren en sus sistemas?

 No depende enteramente de los científicos de datos, o de cualquier grupo de partes interesadas, garantizar que los sistemas técnicos estén alineados con los valores de la sociedad. Pero los científicos de datos están, de hecho, en la vanguardia de esta batalla. Como científica de la computación yo misma, puedo atestiguar la atracción de pensar que los sistemas que diseñamos son “objetivos”, “óptimos” o “correctos”. Cuán exitosa es la ciencia de la computación y la ciencia de datos – cuán influyente y cuán ampliamente utilizada – es tanto una bendición como una maldición. Ya no tenemos el lujo de escondernos detrás de los objetivos inalcanzables de la objetividad y la corrección. La carga recae en nosotros para pensar cuidadosamente sobre nuestro lugar en el mundo y para educarnos sobre los procesos sociales y políticos que estamos impactando. La sociedad no puede permitirse que nos movamos rápido y rompamos cosas, debemos ralentizar y reflexionar.

Es simbólico que la filosofía fuera una vez el centro de todo el discurso científico y social, luego vino la matemática, luego la ciencia de la computación. Ahora, con la ciencia de datos en el centro del escenario, hemos vuelto al punto de partida y necesitamos volver a conectar con nuestras raíces filosóficas.

Otra recomendación que hizo es crear un público informado. ¿Cómo informamos a un público que puede no estar familiarizado con la inteligencia artificial o entender los problemas asociados con el sesgo de la inteligencia artificial?

Hay una necesidad apremiante de educar a las personas no técnicas sobre la tecnología, y de educar a las personas técnicas sobre sus implicaciones sociales. Lograr ambos objetivos requerirá un fuerte compromiso y una inversión sustancial por parte de nuestro gobierno. Necesitamos desarrollar materiales y metodologías educativas para todos estos grupos y encontrar formas de incentivar la participación. Y no podemos dejar este trabajo en manos de entidades comerciales. La Unión Europea está liderando el camino, con varios gobiernos que brindan apoyo a la educación básica en inteligencia artificial de sus ciudadanos y que incorporan currículos de inteligencia artificial en los programas de escuelas secundarias. En R/AI, estamos trabajando en un curso público y ampliamente accesible, con el objetivo de crear un público comprometido que ayudará a hacer que la inteligencia artificial sea lo que QUEREMOS que sea. Estamos muy emocionados con este trabajo, por favor manténganse atentos para obtener más información en el próximo mes.

Gracias por las grandes respuestas detalladas, los lectores que deseen aprender más pueden visitar el Centro de Inteligencia Artificial Responsable.