Juliette Powell y Art Kleiner, autores de El Dilema de la IA – Serie de entrevistas

El Dilema de la IA está escrito por Juliette Powell y Art Kleiner.

Juliette Powell es autora, creadora de televisión con 9.000 programas en vivo bajo su cargo, y tecnóloga y socióloga. También es comentarista en Bloomberg TV/ Business News Networks y conferencista en conferencias organizadas por The Economist y el Corporación Financiera Internacional. Su charla TED tiene 130.000 visitas en YouTube. Juliette identifica los patrones y prácticas de los líderes empresariales exitosos que confían en la IA ética y los datos para ganar. Es profesora en la Universidad de Nueva York (NYU) donde imparte cuatro cursos, incluyendo Habilidades de diseño para medios responsables, un curso basado en su libro.

Art Kleiner es escritor, editor y futurista. Sus libros incluyen La era de los herejes, ¿Quién realmente importa?, Privilegio y éxito y Los sabios. Fue editor de strategy+business, la revista galardonada publicada por PwC. Art también es miembro de la facultad de la Universidad de Nueva York (NYU) donde imparte cursos, incluyendo la enseñanza de Tecnología responsable y el futuro de los medios.

“El Dilema de la IA” es un libro que se centra en los peligros de la tecnología de la IA en las manos equivocadas, mientras reconoce los beneficios que la IA ofrece a la sociedad.

Surgen problemas porque la tecnología subyacente es tan compleja que se vuelve imposible para el usuario final entender verdaderamente el funcionamiento interno de un sistema de caja cerrada.

Uno de los problemas más significativos destacados es cómo la definición de IA responsable siempre está cambiando, ya que los valores sociales a menudo no permanecen consistentes con el tiempo.

Disfruté mucho leyendo “El Dilema de la IA”. Es un libro que no sensacionaliza los peligros de la IA ni se adentra profundamente en los posibles peligros de la Inteligencia Artificial General (IAG). En su lugar, los lectores aprenden sobre las formas sorprendentes en que se utilizan nuestros datos personales sin nuestro conocimiento, así como algunas de las limitaciones actuales de la IA y las razones para la preocupación.

A continuación, se presentan algunas preguntas diseñadas para mostrar a nuestros lectores lo que pueden esperar de este libro innovador.

¿Qué te inspiró inicialmente a escribir “El Dilema de la IA”?

Juliette asistió a Columbia en parte para estudiar los límites y posibilidades de la regulación de la IA. Había escuchado de primera mano de amigos que trabajaban en proyectos de IA sobre la tensión inherente a esos proyectos. Llegó a la conclusión de que había un dilema de la IA, un problema mucho mayor que la autorregulación. Desarrolló el modelo de benchmark Apex, un modelo de cómo las decisiones sobre la IA tendían hacia una baja responsabilidad debido a las interacciones entre empresas y grupos dentro de las empresas. Eso llevó a su disertación.

Art había trabajado con Juliette en varios proyectos de escritura. Leyó su disertación y dijo: “Tienes un libro aquí”. Juliette lo invitó a coautorizarlo. Al trabajar juntos, descubrieron que tenían perspectivas muy diferentes, pero compartían una visión fuerte de que este fenómeno de la IA complejo y de alto riesgo necesitaría ser entendido mejor para que las personas que lo utilizan puedan actuar de manera más responsable y efectiva.

Uno de los problemas fundamentales que se destaca en El Dilema de la IA es que actualmente es imposible entender si un sistema de IA es responsable o si perpetúa la desigualdad social simplemente estudiando su código fuente. ¿Cuán grande es este problema?

El problema no es principalmente con el código fuente. Como señala Cathy O’Neil, cuando hay un sistema de caja cerrada, no es solo el código. Es el sistema sociotécnico, las fuerzas humanas y tecnológicas que se moldean entre sí, lo que necesita ser explorado. La lógica que construyó y lanzó el sistema de IA involucró identificar un propósito, identificar datos, establecer prioridades, crear modelos, establecer pautas y guardias para el aprendizaje automático, y decidir cuándo y cómo un ser humano debería intervenir. Esa es la parte que necesita ser transparente, al menos para observadores y auditores. El riesgo de desigualdad social y otros riesgos es mucho mayor cuando estas partes del proceso están ocultas. No se puede reingenierizar la lógica de diseño a partir del código fuente.

¿Puede centrarse en la IA Explicable (XAI) para abordar este problema?

Para los ingenieros, la IA explicable es actualmente considerada como un grupo de restricciones tecnológicas y prácticas, destinadas a hacer que los modelos sean más transparentes para las personas que trabajan en ellos. Para alguien que es falsamente acusado, la explicabilidad tiene un significado y una urgencia completamente diferentes. Necesitan explicabilidad para poder defenderse. Todos necesitamos explicabilidad en el sentido de hacer que las decisiones comerciales o gubernamentales subyacentes a los modelos sean claras. Al menos en los Estados Unidos, siempre habrá una tensión entre explicabilidad, el derecho de la humanidad a saber, y el derecho de una organización a competir e innovar. Los auditores y reguladores necesitan un nivel diferente de explicabilidad. Nos adentramos en esto con más detalle en El Dilema de la IA.

¿Puedes compartir tus puntos de vista sobre la importancia de responsabilizar a las partes interesadas (empresas de IA) por el código que lanzan al mundo?

Hasta ahora, por ejemplo, en el caso del choque de un coche autónomo en Tempe, Arizona, que mató a un peatón, el operador fue considerado responsable. Un individuo fue a la cárcel. Sin embargo, en última instancia, fue un fracaso organizacional.

Cuando se derrumba un puente, el ingeniero mecánico es considerado responsable. Eso se debe a que los ingenieros mecánicos están capacitados, capacitados continuamente y son responsables ante su profesión. Los ingenieros informáticos no lo son.

¿Deberían las partes interesadas, incluidas las empresas de IA, ser capacitadas y recicladas para tomar mejores decisiones y tener más responsabilidad?

El Dilema de la IA se centró mucho en cómo las empresas como Google (GOOGL ) y Meta pueden recopilar y monetizar nuestros datos personales. ¿Puedes compartir un ejemplo de mal uso significativo de nuestros datos que debería estar en el radar de todos?

De El Dilema de la IA, página 67 y siguientes:

Nuevos casos de mal uso sistemático de datos personales siguen surgiendo en la vista pública, muchos de los cuales involucran el uso encubierto del reconocimiento facial. En diciembre de 2022, MIT Technology Review publicó informes sobre una práctica de iRobot de larga data. Los robots domésticos Roomba graban imágenes y videos tomados en los hogares de los beta-testers voluntarios, lo que inevitablemente significa recopilar imágenes personales e íntimas de la familia. Estas imágenes se comparten, sin que los testers lo sepan, con grupos fuera del país. En al menos un caso, una imagen de una persona en un inodoro se publicó en Facebook (META ). Mientras tanto, en Irán, las autoridades han comenzado a utilizar datos de sistemas de reconocimiento facial para rastrear y arrestar a mujeres que no llevan hiyab.16

No hay necesidad de extenderse más en estas historias. Hay tantas. Sin embargo, es importante identificar el efecto acumulado de vivir de esta manera. Perdemos nuestra sensación de control sobre nuestras vidas cuando sentimos que nuestra información personal podría ser utilizada en nuestra contra en cualquier momento, sin previo aviso.

Un concepto peligroso que se planteó es cómo nuestro mundo entero está diseñado para ser sin fricciones, con la definición de fricción siendo “cualquier punto en el viaje del cliente con una empresa donde golpean un obstáculo que los ralentiza o causa insatisfacción”. ¿Cómo nuestra expectativa de una experiencia sin fricciones puede llevar a una IA peligrosa?

En Nueva Zelanda, un bot de comida sabio de Pak’n’Save sugirió una receta que crearía gas cloro si se utilizaba. Esto se promocionó como una forma para que los clientes utilizaran los restos y ahorraran dinero.

La falta de fricciones crea una ilusión de control. Es más rápido y fácil escuchar la aplicación que buscar la receta de la abuela. La gente sigue el camino de menor resistencia y no se da cuenta de adónde los lleva.

La fricción, por otro lado, es creativa. Te involucras. Esto lleva a un control real. El control real requiere atención y trabajo, y, en el caso de la IA, realizar un análisis de costo-beneficio extendido.

Con la ilusión de control, parece que vivimos en un mundo donde los sistemas de IA están promoviendo a los humanos, en lugar de que los humanos sigan completamente en control. ¿Puedes darnos algunos ejemplos de cómo los humanos colectivamente creen que tienen control, cuando en realidad no lo tienen?

San Francisco en este momento, con robotaxis. La idea de taxis autónomos tiende a evocar dos emociones en conflicto: emoción (“¡taxis a un costo mucho menor!”) y miedo (“¿me golpearán?”). Así, muchos reguladores sugieren que los coches se prueben con personas dentro, que puedan controlar los controles. Desafortunadamente, tener humanos en alerta, listos para anular los sistemas en tiempo real, puede no ser una buena prueba de seguridad pública. La confianza excesiva es una dinámica frecuente con los sistemas de IA. Cuanto más autónomo es el sistema, más tienden a confiar en él los operadores humanos y no prestar atención completa. Nos aburrimos viendo estas tecnologías. Cuando un accidente está a punto de ocurrir, no lo esperamos y a menudo no reaccionamos a tiempo.

¿Hubo algo que te sorprendió durante la investigación para este libro?

Una cosa que realmente nos sorprendió fue que las personas de todo el mundo no podían ponerse de acuerdo sobre quién debería vivir y quién debería morir en la simulación de la Máquina Moral de un choque de coche autónomo. Si no podemos ponernos de acuerdo en eso, entonces es difícil imaginar que podríamos tener un gobierno global unificado o estándares universales para los sistemas de IA.

Ustedes se describen como empresarios, ¿cómo lo que han aprendido y reportado influirá en sus esfuerzos futuros?

Nuestra práctica de asesoramiento de IA se orienta hacia ayudar a las organizaciones a crecer de manera responsable con la tecnología. Los abogados, ingenieros, científicos sociales y pensadores empresariales son todas partes interesadas en el futuro de la IA. En nuestro trabajo, reunimos todas estas perspectivas y practicamos la fricción creativa para encontrar mejores soluciones. Hemos desarrollado marcos como el cálculo del riesgo intencional para ayudar a navegar estos problemas.

Gracias por las grandes respuestas, los lectores que deseen aprender más pueden visitar El Dilema de la IA.