Prof. Julia Stoyanovich, Directora del Centro para la Inteligencia Artificial Responsable – Serie de Entrevistas

Julia Stoyanovich, es profesora en la Escuela de Ingeniería Tandon de NYU y directora fundadora del Centro para la Inteligencia Artificial Responsable. Recientemente, dio testimonio ante el Comité de Tecnología del Consejo de la Ciudad de Nueva York sobre un proyecto de ley propuesto que regularía el uso de la IA para la contratación y las decisiones de empleo.

Usted es la directora fundadora del Centro para la Inteligencia Artificial Responsable en NYU. ¿Podría compartir con nosotros algunas de las iniciativas emprendidas por esta organización?

Co-dirección del Centro para la Inteligencia Artificial Responsable (R/AI) en NYU con Steven Kuyan. Steven y yo tenemos intereses y experiencia complementarios. Soy una académica, con un trasfondo en ciencias de la computación y con un fuerte interés en el trabajo inspirado en el uso en la intersección de la ingeniería de datos, la ciencia de datos responsable y la política. Steven es el director ejecutivo de los Laboratorios de Futuro de NYU Tandon, una red de incubadoras y aceleradoras de startups que ya ha tenido un impacto económico tremendo en la ciudad de Nueva York. Nuestra visión para R/AI es ayudar a que la “inteligencia artificial responsable” sea sinónimo de “inteligencia artificial”, a través de una combinación de investigación aplicada, educación pública y participación, y ayudando a las empresas, grandes y pequeñas, especialmente pequeñas, a desarrollar inteligencia artificial responsable.

En los últimos meses, R/AI se ha involucrado activamente en conversaciones sobre la supervisión de los Sistemas de Decisión Automatizados (ADS). Nuestro enfoque se basa en una combinación de actividades educativas y participación en políticas.

La ciudad de Nueva York está considerando un proyecto de ley propuesto, Int 1894, que regularía el uso de los ADS en la contratación a través de una combinación de auditorías y divulgación pública. R/AI presentó comentarios públicos sobre el proyecto de ley, basados en nuestra investigación y en las ideas que recopilamos de los buscadores de empleo a través de varias actividades de participación pública.

También colaboramos con The GovLab en NYU y con el Instituto para la Ética en la Inteligencia Artificial en la Universidad Técnica de Múnich en un curso en línea gratuito llamado “Ética de la Inteligencia Artificial: Perspectivas Globales” que se lanzó a principios de este mes.

Otro proyecto reciente de R/AI que ha estado recibiendo mucha atención es nuestra serie de cómics “Datos, Responsablemente”. El primer volumen de la serie se llama “Espejo, Espejo”, está disponible en inglés, español y francés, y es accesible con un lector de pantalla en los tres idiomas. El cómic obtuvo el premio Innovación del Mes de Metro Lab Network y GovTech, y fue cubierto por Toronto Star, entre otros.

¿Cuáles son algunos de los problemas actuales o potenciales con el sesgo de la IA en la contratación y las decisiones de empleo?

Esta es una pregunta compleja que requiere que primero seamos claros sobre lo que queremos decir con “sesgo”. La cosa clave a tener en cuenta es que los sistemas de contratación automatizados son “análisis predictivos” – predicen el futuro basándose en el pasado. El pasado está representado por datos históricos sobre las personas que fueron contratadas por la empresa, y sobre cómo estas personas se desempeñaron. El sistema se “entrena” con estos datos, lo que significa que identifica patrones estadísticos y los utiliza para hacer predicciones. Estos patrones estadísticos son la “magia” de la IA, en lo que se basan los modelos predictivos. Claramente, pero importante, los datos históricos de los que se extrajeron estos patrones son silenciosos sobre las personas que no fueron contratadas porque simplemente no sabemos cómo se habrían desempeñado en el trabajo que no obtuvieron. Y es aquí donde entra en juego el sesgo. Si sistemáticamente contratamos a más personas de ciertos grupos demográficos y socioeconómicos, entonces la pertenencia a estos grupos y las características que conlleva serán parte del modelo predictivo. Por ejemplo, si solo vemos a graduados de universidades de élite siendo contratados para puestos ejecutivos, entonces el sistema no puede aprender que las personas que asistieron a una escuela diferente también podrían hacerlo bien. Es fácil ver un problema similar para el género, la raza y el estatus de discapacidad.

El sesgo en la IA es mucho más amplio que solo el sesgo en los datos. Surge cuando intentamos usar tecnología donde una solución técnica es simplemente inapropiada, o cuando establecemos los objetivos incorrectos para la IA – a menudo porque no tenemos una diversidad de voces en la mesa de diseño, o cuando renunciamos a nuestra agencia en las interacciones humanas – IA después de que la IA se ha desplegado. Cada una de estas razones para el sesgo merece su propia discusión que probablemente durará más que el espacio en este artículo. Y así, para mantenerme enfocado, déjame regresar al sesgo en los datos.

Cuando explico el sesgo en los datos, me gusta usar la metáfora del reflejo en el espejo. Los datos son una imagen del mundo, su reflejo en el espejo. Cuando pensamos en el sesgo en los datos, interrogamos este reflejo. Una interpretación de “sesgo en los datos” es que el reflejo está distorsionado – nuestro espejo subrepresenta o sobrepresenta algunas partes del mundo, o de otra manera distorsiona las lecturas. Otra interpretación de “sesgo en los datos” es que, incluso si el reflejo fuera 100% fiel, todavía sería un reflejo del mundo tal como es hoy, y no de cómo podría o debería ser. Importante, no es tarea de los datos ni de un algoritmo decirnos si es un reflejo perfecto de un mundo roto, o un reflejo roto de un mundo perfecto, o si estas distorsiones se acumulan. Es tarea de las personas – individuos, grupos, la sociedad en general – llegar a un consenso sobre si estamos de acuerdo con el mundo tal como es, o, si no, cómo deberíamos mejorararlo.

Volver a los análisis predictivos: Cuanto más fuertes sean las disparidades en los datos, como reflejo del pasado, más probable es que sean detectadas por los modelos predictivos, y que se repliquen – e incluso se exacerben – en el futuro.

Si nuestro objetivo es mejorar nuestras prácticas de contratación con un enfoque en la equidad y la diversidad, entonces simplemente no podemos subcontratar este trabajo a las máquinas. Tenemos que hacer el trabajo duro de identificar las verdaderas causas del sesgo en la contratación y el empleo de frente, y de negociar una solución socio-legal-técnica con la participación de todas las partes interesadas. La tecnología ciertamente tiene un papel que desempeñar en ayudarnos a mejorar el status quo: puede ayudarnos a mantenernos honestos sobre nuestros objetivos y resultados. Pero pretender que desviar el sesgo de los datos o el análisis predictivo resolverá los problemas profundamente arraigados de la discriminación en la contratación es ingenuo en el mejor de los casos.

Recientemente, dio testimonio ante el Comité de Tecnología del Consejo de la Ciudad de Nueva York, un comentario impactante fue el siguiente: “Encontramos que tanto el presupuesto del anunciante como el contenido del anuncio contribuyen significativamente al sesgo en la entrega de anuncios de Facebook. Críticamente, observamos un sesgo significativo en la entrega a lo largo de las líneas de género y raza para anuncios ‘reales’ de empleo y vivienda a pesar de parámetros de destino neutrales.” ¿Cuáles son algunas soluciones para evitar este tipo de sesgo?

Este comentario que hice se basa en un artículo de Ali et al. llamado “Discriminación a través de la optimización: Cómo la entrega de anuncios de Facebook puede llevar a resultados sesgados.” Los autores encuentran que el mecanismo de entrega de anuncios en sí es responsable de introducir y amplificar efectos discriminatorios. No hace falta decir que este hallazgo es altamente problemático, especialmente cuando se produce contra el telón de fondo de la opacidad en Facebook y otras plataformas – Google y Twitter. La carga recae en las plataformas para demostrar urgentemente y de manera convincente que pueden controlar los efectos discriminatorios como los encontrados por Ali et al.. De lo contrario, no puedo encontrar una justificación para el uso continuado de la segmentación de anuncios personalizados en la vivienda, el empleo y otros dominios donde las vidas y los medios de vida de las personas están en juego.

¿Cómo pueden los científicos de datos y los desarrolladores de IA evitar mejor que otros sesgos no intencionados se filtren en sus sistemas?

No depende enteramente de los científicos de datos, o de cualquier grupo de partes interesadas, garantizar que los sistemas técnicos estén alineados con los valores de la sociedad. Pero los científicos de datos están, de hecho, en la vanguardia de esta batalla. Como científica de la computación, puedo atestiguar la atracción de pensar que los sistemas que diseñamos son “objetivos”, “óptimos” o “correctos”. Cuán exitosa es la ciencia de la computación y la ciencia de datos – cuán influyente y cuán ampliamente utilizada – es tanto una bendición como una maldición. Ya no tenemos el lujo de escondernos detrás de los objetivos inalcanzables de la objetividad y la corrección. La carga recae en nosotros para pensar cuidadosamente sobre nuestro lugar en el mundo, y para educarnos sobre los procesos sociales y políticos que estamos impactando. La sociedad no puede permitirse que nos movamos rápido y rompamos cosas, debemos ralentizar y reflexionar.

Es simbólico que la filosofía fuera una vez el centro de todos los discursos científicos y sociales, luego vino la matemática, luego la ciencia de la computación. Ahora, con la ciencia de datos en el centro del escenario, hemos vuelto a conectar con nuestras raíces filosóficas.

Otra recomendación que hizo es crear un público informado. ¿Cómo informamos a un público que puede no estar familiarizado con la IA, o que no entiende los problemas asociados con el sesgo de la IA?

Hay una necesidad apremiante de educar a las personas no técnicas sobre la tecnología, y de educar a las personas técnicas sobre sus implicaciones sociales. Lograr ambos objetivos requerirá un fuerte compromiso y una inversión sustancial por parte de nuestro gobierno. Necesitamos desarrollar materiales y metodologías educativas para todos estos grupos, y encontrar formas de incentivar la participación. Y no podemos dejar este trabajo en manos de entidades comerciales. La Unión Europea está liderando el camino, con varios gobiernos que brindan apoyo para educación básica en IA de sus ciudadanos, e incorporando currículos de IA en programas de escuelas secundarias. En R/AI estamos trabajando en un curso accesible y disponible públicamente, con el objetivo de crear un público comprometido que ayudará a hacer que la IA sea lo que QUEREMOS que sea. Estamos muy emocionados con este trabajo, por favor manténganse atentos para más información en el próximo mes.

Gracias por las respuestas detalladas, los lectores que deseen aprender más pueden visitar el Centro para la Inteligencia Artificial Responsable.