Nora Petrova, Ingeniera de Aprendizaje Automático y Consultora de IA en Prolific – Serie de Entrevistas

Nora Petrova, es una Ingeniera de Aprendizaje Automático y Consultora de IA en Prolific. Prolific fue fundada en 2014 y ya cuenta con organizaciones como Google, la Universidad de Stanford, la Universidad de Oxford, el King’s College de Londres y la Comisión Europea entre sus clientes, que utilizan su red de participantes para probar nuevos productos, entrenar sistemas de IA en áreas como el seguimiento de la vista y determinar si sus aplicaciones de IA orientadas a humanos funcionan como sus creadores pretendían.

¿Podría compartir alguna información sobre su experiencia en Prolific y su carrera hasta la fecha? ¿Qué lo llevó a interesarse en la IA!

Mi función en Prolific se divide entre ser asesor sobre casos de uso y oportunidades de IA, y ser un ingeniero de ML más práctico. Comencé mi carrera en Ingeniería de Software y me he ido trasladando gradualmente al Aprendizaje Automático. He pasado la mayor parte de los últimos 5 años centrado en casos de uso y problemas de NLP.

Lo que me llevó a interesarme en la IA inicialmente fue la capacidad de aprender de los datos y el enlace a cómo aprendemos los humanos y cómo están estructurados nuestros cerebros. Creo que el ML y la Neurociencia pueden complementarse mutuamente y ayudar a profundizar nuestra comprensión de cómo construir sistemas de IA capaces de navegar por el mundo, exhibir creatividad y agregar valor a la sociedad.

¿Cuáles son algunos de los mayores problemas de sesgo de IA que conoce personalmente?

El sesgo es inherente a los datos que alimentamos a los modelos de IA y eliminarlo por completo es muy difícil. Sin embargo, es fundamental que seamos conscientes de los sesgos que están presentes en los datos y encontremos formas de mitigar los tipos de sesgos perjudiciales antes de confiar a los modelos tareas importantes en la sociedad. Los problemas más grandes que enfrentamos son los modelos que perpetúan estereotipos dañinos, prejuicios y injusticias sistémicas en la sociedad. Debemos ser conscientes de cómo se utilizarán estos modelos de IA y la influencia que tendrán en sus usuarios, y asegurarnos de que sean seguros antes de aprobarlos para casos de uso sensibles.

Algunas áreas prominentes donde los modelos de IA han exhibido sesgos perjudiciales incluyen la discriminación de grupos subrepresentados en las admisiones a escuelas y universidades, y los estereotipos de género que afectan negativamente la contratación de mujeres. No solo eso, sino que un algoritmo de justicia penal se encontró que había etiquetado a los acusados afroamericanos como “alto riesgo” a una tasa casi dos veces mayor que la tasa a la que etiquetó a los acusados blancos en EE. UU., mientras que la tecnología de reconocimiento facial todavía sufre de altas tasas de error para las minorías debido a la falta de datos de entrenamiento representativos.

Los ejemplos anteriores cubren una pequeña subsección de los sesgos demostrados por los modelos de IA y podemos prever problemas más grandes que surjan en el futuro si no nos centramos en mitigar el sesgo ahora. Es importante tener en cuenta que los modelos de IA aprenden de los datos que contienen estos sesgos debido a la toma de decisiones humanas influenciada por sesgos no controlados y subconscientes. En muchos casos, recurrir a un tomador de decisiones humano puede no eliminar el sesgo. Mitigar verdaderamente los sesgos implicará comprender cómo están presentes en los datos que utilizamos para entrenar los modelos, aislar los factores que contribuyen a las predicciones sesgadas y decidir colectivamente qué queremos basar en decisiones importantes. Desarrollar un conjunto de estándares para que podamos evaluar los modelos para la seguridad antes de que se utilicen para casos de uso sensibles será un paso importante hacia adelante.

Las alucinaciones de IA son un gran problema con cualquier tipo de IA generativa. ¿Puede discutir cómo el entrenamiento human-in-the-loop (HITL) puede mitigar estos problemas?

Las alucinaciones en los modelos de IA son problemáticas en particular en casos de uso de IA generativa, pero es importante tener en cuenta que no son un problema en sí mismas. En ciertos usos creativos de IA generativa, las alucinaciones son bienvenidas y contribuyen a una respuesta más creativa e interesante.

Pueden ser problemáticas en casos de uso donde la confianza en la información factual es alta. Por ejemplo, en la atención médica, donde la toma de decisiones sólida es clave, proporcionar a los profesionales de la salud información factual confiable es imperativo.

HITL se refiere a sistemas que permiten a los humanos proporcionar retroalimentación directa a un modelo para predicciones que están por debajo de un cierto nivel de confianza. En el contexto de las alucinaciones, HITL se puede utilizar para ayudar a los modelos a aprender el nivel de certeza que deben tener para diferentes casos de uso antes de producir una respuesta. Estos umbrales variarán dependiendo del caso de uso y enseñar a los modelos las diferencias en rigor necesarias para responder a preguntas de diferentes casos de uso será un paso clave hacia la mitigación de las alucinaciones problemáticas. Por ejemplo, en un caso de uso legal, los humanos pueden demostrar a los modelos de IA que la verificación de hechos es un paso requerido al responder preguntas basadas en documentos legales complejos con muchas cláusulas y condiciones.

¿Cómo pueden los trabajadores de IA, como los anotadores de datos, ayudar a reducir los problemas de sesgo de IA?

Los trabajadores de IA pueden ayudar en primer lugar a identificar los sesgos presentes en los datos. Una vez que se ha identificado el sesgo, se vuelve más fácil desarrollar estrategias de mitigación. Los anotadores de datos también pueden ayudar a encontrar formas de reducir el sesgo. Por ejemplo, para tareas de NLP, pueden ayudar proporcionando formas alternativas de expresar fragmentos de texto problemáticos de manera que se reduzca el sesgo presente en el lenguaje. Además, la diversidad en los trabajadores de IA puede ayudar a mitigar los problemas de sesgo en la etiquetación.

¿Cómo se asegura de que los trabajadores de IA no alimenten involuntariamente sus propios sesgos humanos al sistema de IA?

Es un tema complejo que requiere una consideración cuidadosa. Eliminar los sesgos humanos es casi imposible y los trabajadores de IA pueden alimentar involuntariamente sus sesgos a los modelos de IA, por lo que es clave desarrollar procesos que guíen a los trabajadores hacia las mejores prácticas.

Algunos pasos que se pueden tomar para mantener los sesgos humanos al mínimo incluyen:

• Capacitación integral de los trabajadores de IA sobre sesgos inconscientes y proporcionarles herramientas sobre cómo identificar y gestionar sus propios sesgos durante la etiquetación.
• Lista de verificación que recuerde a los trabajadores de IA verificar sus propias respuestas antes de enviarlas.
• Ejecutar una evaluación que verifique el nivel de comprensión que tienen los trabajadores de IA, donde se les muestran ejemplos de respuestas en diferentes tipos de sesgos y se les pide que elijan la respuesta menos sesgada.

Los reguladores en todo el mundo pretenden regular la salida de IA, ¿qué cree que los reguladores no entienden y qué tienen razón?

Es importante comenzar diciendo que este es un problema realmente difícil al que nadie ha encontrado la solución. La sociedad y la IA evolucionarán y se influirán mutuamente de maneras muy difíciles de anticipar. Una parte de una estrategia efectiva para encontrar prácticas regulatorias robustas y útiles es prestar atención a lo que está sucediendo en la IA, cómo la gente está respondiendo a ella y qué efectos tiene en diferentes industrias.

Creo que un obstáculo significativo para la regulación efectiva de la IA es la falta de comprensión de lo que pueden y no pueden hacer los modelos de IA, y cómo funcionan. Esto, a su vez, hace que sea más difícil predecir con precisión las consecuencias que estos modelos tendrán en diferentes sectores y secciones de la sociedad. Otra área que falta es el liderazgo en pensamiento sobre cómo alinear los modelos de IA con los valores humanos y qué significa la seguridad en términos más concretos.

Los reguladores han buscado la colaboración con expertos en el campo de la IA, han sido cuidadosos al no sofocar la innovación con reglas demasiado estrictas alrededor de la IA, y han comenzado a considerar las consecuencias de la IA en la pérdida de empleos, que son áreas de enfoque muy importantes. Es importante proceder con cuidado a medida que nuestras ideas sobre la regulación de la IA se clarifican con el tiempo y involucrar a tantas personas como sea posible para abordar este tema de manera democrática.

¿Cómo pueden las soluciones de Prolific ayudar a las empresas a reducir el sesgo de IA y otros problemas que hemos discutido?

La recopilación de datos para proyectos de IA no siempre ha sido un proceso considerado o deliberativo. Hemos visto anteriormente el raspado, la externalización y otros métodos que se han vuelto comunes. Sin embargo, cómo entrenamos a la IA es crucial y los modelos de próxima generación necesitarán ser construidos sobre datos de alta calidad, intencionalmente recopilados, de personas reales y de aquellos con quienes tenemos contacto directo. Es aquí donde Prolific está haciendo una marca.

Otros dominios, como la encuesta, la investigación de mercado o la investigación científica, aprendieron esto hace mucho tiempo. La audiencia que se muestrea tiene un gran impacto en los resultados que se obtienen. La IA está comenzando a ponerse al día, y ahora estamos en una encrucijada.

Ahora es el momento de empezar a cuidar el uso de mejores muestras y trabajar con grupos más representativos para el entrenamiento y la mejora de la IA. Ambos son críticos para desarrollar modelos seguros, sin sesgo y alineados.

Prolific puede ayudar a proporcionar las herramientas adecuadas para que las empresas realicen experimentos de IA de manera segura y recopilar datos de participantes donde el sesgo se verifique y se mitigue en el camino. Podemos ayudar a proporcionar orientación sobre las mejores prácticas para la recopilación de datos, la selección, la compensación y el trato justo de los participantes.

¿Cuáles son sus puntos de vista sobre la transparencia de IA, deberían los usuarios poder ver qué datos se utilizan para entrenar un algoritmo de IA?

Creo que hay pros y contras de la transparencia y no se ha encontrado un buen equilibrio. Las empresas retienen información sobre los datos que han utilizado para entrenar sus modelos de IA debido al miedo a la litigación. Otros han trabajado para hacer que sus modelos de IA sean de acceso público y han publicado toda la información sobre los datos que han utilizado. La transparencia total abre muchas oportunidades para la explotación de las vulnerabilidades de estos modelos. La secrecía total no ayuda a generar confianza y a involucrar a la sociedad en la construcción de una IA segura. Un buen punto intermedio proporcionaría suficiente transparencia para que confiemos en que los modelos de IA han sido entrenados con datos de alta calidad relevantes que hemos consentido. Necesitamos prestar mucha atención a cómo la IA está afectando diferentes industrias y abrir diálogos con las partes afectadas y asegurarnos de que desarrollamos prácticas que funcionen para todos.

Creo que también es importante considerar qué es lo que los usuarios encontrarían satisfactorio en términos de explicabilidad. Si quieren entender por qué un modelo está produciendo una respuesta determinada, proporcionarles los datos brutos en los que se entrenó el modelo probablemente no les ayudará a responder a su pregunta. Por lo tanto, construir herramientas de explicabilidad e interpretación buenas es importante.

La investigación de alineación de IA tiene como objetivo dirigir los sistemas de IA hacia los objetivos, preferencias o principios éticos humanos. ¿Puede discutir cómo se entrenan los trabajadores de IA y cómo se utiliza esto para asegurar que la IA esté alineada lo mejor posible?

Esta es un área de investigación activa y no hay consenso sobre qué estrategias debemos utilizar para alinear los modelos de IA con los valores humanos o incluso qué conjunto de valores debemos apuntar a alinearlos.

Los trabajadores de IA suelen ser solicitados para representar auténticamente sus preferencias y responder preguntas sobre sus preferencias de manera veraz, mientras también adhieren a principios sobre seguridad, falta de sesgo, inofensividad y utilidad.

En cuanto al alineamiento con objetivos, principios éticos o valores, hay múltiples enfoques que parecen prometedores. Un ejemplo notable es el trabajo del Instituto de Alineación de Significado sobre Ajuste Democrático. Hay un excelente post que introduce la idea aquí.

Gracias por la excelente entrevista y por compartir sus puntos de vista sobre el sesgo de IA, los lectores que deseen aprender más deben visitar Prolific.