Andrew Pery, Evangelista de Ética, ABBYY – Serie de Entrevistas

Andrew Pery, es el Evangelista de Ética en ABBYY, una empresa de inteligencia digital. Empoderan a las organizaciones para acceder a la valiosa, aunque a menudo difícil de obtener, información sobre sus operaciones que permite una verdadera transformación empresarial.

ABBYY lanzó recientemente una Iniciativa Global para Promover el Desarrollo de Inteligencia Artificial Confiable. Decidimos hacerle preguntas a Andrew sobre la ética en la IA, los abusos de la IA y qué puede hacer la industria de la IA sobre estas preocupaciones en el futuro.

¿Qué es lo que inicialmente despertó su interés en la ética de la IA?

Lo que inicialmente despertó mi interés en la ética de la IA fue un profundo interés en la intersección del derecho y la tecnología de la IA. Comencé mi carrera en el sistema de justicia penal, representando a defensores indigentes que no tenían los medios financieros para pagar servicios legales. Luego me trasladé a la tecnología, centrada en la aplicación de la búsqueda avanzada y la IA en la práctica del derecho. Como profesional certificado en privacidad de datos, me apasiona especialmente la ley de privacidad y el uso adecuado de la tecnología de la IA que se alinea con y mejora los derechos de privacidad.

La tecnología de reconocimiento facial a menudo es abusada por fuentes de autoridad, incluido el gobierno de los EE. UU. ¿Cuán grande debería ser esta preocupación para la sociedad?

Las implicaciones de la tecnología de reconocimiento facial deberían ser una preocupación social significativa, ya que esta tecnología puede afectar muchos derechos fundamentales, incluidos los económicos, sociales y de seguridad.

Hay evidencia clara y convincente de que los algoritmos de reconocimiento facial son poco fiables. Un estudio de NIST sobre algoritmos de reconocimiento facial encontró que los afroamericanos tenían hasta 100 veces más probabilidades de ser mal identificados. Un estudio similar de la Escuela de Derecho de Georgetown encontró que los algoritmos de reconocimiento facial basados en fotografías de detenidos produjeron un alto porcentaje de falsos positivos asociados con individuos afroamericanos, y un estudio de MIT de 2018 sobre el software de reconocimiento facial de Amazon (AMZN ) encontró que, mientras que los hombres blancos fueron identificados con precisión el 99% del tiempo, los individuos de piel oscura generaron hasta un 35% de falsos positivos.

Por estas razones, los reguladores están comenzando a tomar medidas para prohibir el uso de tecnologías de reconocimiento facial, particularmente en el contexto de la vigilancia y el perfilado. Por ejemplo, el Senado de California aprobó una prohibición estatal sobre el uso de tecnología de reconocimiento facial y otros métodos de vigilancia biométrica.

También hay un impulso dentro de la comunidad tecnológica para retractarse de la comercialización del software de reconocimiento facial. IBM anunció que dejará de vender software de reconocimiento facial, citando que viola los derechos humanos básicos y las libertades fundamentales. Microsoft (MSFT ) también anunció una decisión similar para dejar de vender su tecnología de reconocimiento facial, citando también los derechos humanos fundamentales.

El software COMPAS, que ha sido utilizado por los tribunales de los EE. UU. para la evaluación del riesgo criminal, ha etiquetado incorrectamente a delincuentes de minorías visibles como más propensos a reincidir que a los delincuentes blancos. Sabiendo esto, ¿debería siquiera ser una opción el uso de la IA en los tribunales?

Los estudios sobre COMPAS encontraron que no es mejor que las personas al azar para predecir crímenes. Si bien el análisis predictivo entrega un valor significativo en un contexto comercial, se ha demostrado que resulta en desigualdades en su aplicación a la justicia penal. Esto es evidente en un informe publicado por Pro Publica, que encontró que COMPAS, el software más popular utilizado por los tribunales de los EE. UU. para la evaluación del riesgo criminal, etiquetó incorrectamente a delincuentes de minorías visibles como más propensos a reincidir al doble de la tasa que los delincuentes blancos.

Estas desigualdades llevaron al ex fiscal general Eric Holder a cuestionar la equidad y expresar preocupaciones sobre las posibles desigualdades planteadas por la aplicación de la tecnología de la IA para predecir tasas de reincidencia dentro de la población de delincuentes.

¿Cómo puede la sociedad evitar programar involuntariamente sesgos negativos en los sistemas de IA?

Primero, debe haber un reconocimiento de que la IA puede tener la propensión a producir sesgos involuntarios, conocidos como sesgos inconscientes. Mitigar su impacto adverso requiere un enfoque holístico que consista en el desarrollo de directrices éticas para la IA, como las propuestas por el Marco Ético de la OCDE. Esto se basa en siete principios fundamentales, incluyendo la agencia y la supervisión humanas, la robustez y la seguridad técnicas, la privacidad y la gobernanza, la transparencia, la diversidad y la no discriminación, el bienestar social y la rendición de cuentas.

En segundo lugar, la adhesión a los marcos legales que protegen contra el perfilado automatizado es clave. Por ejemplo, la UE ha tenido una larga historia de respeto y protección de los derechos de privacidad, con la expresión más reciente y poderosa siendo el Reglamento General de Protección de Datos (GDPR), que protege específicamente contra la toma de decisiones automatizada.

En tercer lugar, es necesario que la industria sea responsable de cómo se desarrolla la tecnología de la IA y se comprometa a proporcionar transparencia sin afectar sus derechos de propiedad intelectual. Hay desarrollos positivos en este sentido. Por ejemplo, la Asociación para la IA es una organización con más de 80 miembros en 13 países dedicada a la investigación y el debate sobre cuestiones clave de la IA.

Finalmente, las organizaciones tecnológicas deben comprometerse a realizar una evaluación de impacto de sesgo antes del lanzamiento comercial de algoritmos de IA, particularmente cuando sus aplicaciones impactan los derechos de privacidad y seguridad. Las preguntas que los líderes tecnológicos deben considerar antes de lanzar nuevas aplicaciones habilitadas para IA incluyen: ¿Es el conjunto de datos sobre el que se entrenó esta tecnología lo suficientemente diverso? ¿Cómo se detectará el sesgo? ¿Cómo se prueba y quién lo hace? ¿Cuáles son los incentivos para los desarrolladores? ¿Quién se beneficiará comercialmente de ello?

Es importante recordar que las soluciones de IA reflejan los datos subyacentes en los que se entrenan estas aplicaciones, por lo que asegurarse de que estos datos no estén sesgados y reflejen adecuadamente la diversidad de los constituyentes a los que servirá la solución es crucial. En palabras de la investigadora de IA, la profesora Joanna Bryson, “si los datos subyacentes reflejan estereotipos, o si se entrena a la IA con la cultura humana, se encontrará sesgo. Y si no tenemos cuidado, corremos el riesgo de integrar ese sesgo en los programas de computadora que están tomando el control de todo, desde hospitales hasta escuelas y prisiones – programas que se supone que eliminan esos sesgos en primer lugar”.

ABBYY lanzó recientemente una Iniciativa Global para promover el desarrollo de Inteligencia Artificial Confiable. ¿Cuán importante es esta iniciativa para el futuro de ABBYY?

La decisión de desarrollar nuestra iniciativa global para la IA confiable es una decisión importante impulsada por nuestra creencia de que, como organización cuyas tecnologías impactan a empresas en todo el mundo y sirven a decenas de miles de usuarios individuales, tenemos la obligación de ser buenos ciudadanos corporativos con conciencia social. No solo ayuda a generar una mayor confianza entre nuestros clientes y socios globales, sino que también ayuda a asegurarse de que nuestras tecnologías continúen teniendo un impacto profundo de manera que beneficie el bien común.

También tiene sentido desde el punto de vista comercial promover y apoyar el uso confiable de la IA. Fortalece nuestro valor de marca, genera confianza con nuestra constelación de clientes y ecosistema de socios globales. La confianza se traduce en negocios repetidos y en crecimiento sostenible.

Parte de esta iniciativa es que ABBYY se compromete a fomentar una cultura que promueva el uso ético de la IA y su utilidad social. ¿Qué necesita hacerse para que otras empresas fomenten una cultura similar?

Las empresas tecnológicas necesitan desarrollar un marco para el uso ético de la IA. El alcance de tal compromiso depende de las aplicaciones previstas de los algoritmos de IA. La mejor manera de evaluar su impacto es aplicar el principio de no hacer daño y tener un compromiso de arriba hacia abajo con el uso confiable de la IA.

Es igualmente importante un compromiso con la transparencia. Mientras que los derechos de propiedad intelectual deben equilibrarse con el principio de IA confiable, la importancia de la transparencia y la rendición de cuentas para el uso responsable de la IA debe comunicarse claramente en toda la organización.

Una de las iniciativas en las que ABBYY se ha comprometido es entregar tecnologías de IA que sean social y económicamente beneficiosas. Esto puede ser un equilibrio difícil de lograr. ¿Cómo pueden las empresas implementar mejor esto?

Los líderes pueden lograr este equilibrio teniendo en cuenta las recomendaciones ofrecidas por Deloitte: diseñar la ética en la IA comienza con determinar qué es lo que importa a las partes interesadas, como clientes, empleados, reguladores y el público en general. Las empresas deben establecer un comité de gobernanza y asesoramiento de IA de líderes interfuncionales y asesores externos que interactúen con grupos de trabajo de múltiples partes interesadas y establezcan y supervisen la gobernanza de soluciones habilitadas para IA, incluyendo su diseño, desarrollo, implementación y uso.

Cómo equilibramos nuestros intereses comerciales y el bien social se ejemplificó más recientemente durante la pandemia del Coronavirus. Hicimos que muchas de nuestras tecnologías estuvieran disponibles de forma gratuita o a tarifas reducidas para ayudar a individuos y organizaciones a navegar la crisis, mantener la continuidad empresarial y apoyar a sus clientes en medio de circunstancias impredecibles.

También hicimos que nuestros marcos de tecnología estuvieran disponibles a través de NeoML, nuestra biblioteca de aprendizaje automático de código abierto multiplataforma que permite a los desarrolladores de software aprovechar modelos probados y confiables para avanzar en la innovación de la IA.

¿Podría compartir sus puntos de vista sobre el uso de la IA para aplicaciones de seguimiento de contactos para el COVID-19 y la necesidad de equilibrar el derecho a la privacidad?

Este es un tema particularmente complejo. Hay quienes argumentan que la implementación de aplicaciones de seguimiento móvil representa una intrusión no deseada en los derechos de privacidad. Por otro lado, cuando se trata de seguridad pública, siempre hay límites en los derechos en general. Es un intercambio entre derechos y responsabilidades. Sin embargo, los derechos no son absolutos. La contención de una pandemia global requiere acción coordinada y la aplicación de recursos y tecnologías que puedan usarse de manera responsable para proteger a la población en general.

Este equilibrio entre los derechos de privacidad individuales y el bien común se reconoce dentro de un marco legal. Por ejemplo, el GDPR identifica seis bases para el procesamiento legítimo de información de identificación personal, incluyendo una disposición que cuando el procesamiento es indispensable para el interés público, dicho procesamiento de información de identificación personal está justificado sin obtener el consentimiento del sujeto de datos.

Además, el Considerando 46 del GDPR estipula directamente que el procesamiento de información de identificación personal está justificado sin obtener el consentimiento del sujeto de datos en emergencias humanitarias, incluidas las epidemias. Sin embargo, es importante tener en cuenta que el Considerando 46 interpreta la aplicación de la disposición de interés público de manera muy estrecha, señalando que solo debería ocurrir cuando no pueda basarse en otra base legal.

Aparte del equilibrio entre los derechos de privacidad y el interés público, también es incumbencia del sector tecnológico y de los formuladores de políticas implementar pautas éticamente sólidas, transparentes y justas relacionadas con el uso de la IA para el perfilado y el intercambio de información de salud altamente sensible. Las grandes empresas tecnológicas, incluidas Google (GOOGL ) y Facebook (META ), ya han iniciado iniciativas para rastrear los movimientos de los usuarios para identificar cómo se propaga el virus y evaluar la efectividad de las medidas de distanciamiento social.

Creo que siempre que la información sea anónima, su uso tiene utilidad social.

¿Hay algo más que le gustaría compartir con respecto a la nueva Iniciativa Global de ABBYY para Promover el Desarrollo de Inteligencia Artificial Confiable?

Las regulaciones tienden a estar por detrás de la innovación tecnológica, por lo que las empresas necesitan asumir un papel proactivo en la promoción de la transparencia y la rendición de cuentas con las tecnologías de IA y cómo impactan los derechos de privacidad y seguridad. Nuestra iniciativa refleja nuestro compromiso con este esfuerzo. Desde nuestra fundación, hemos creado tecnologías innovadoras que preservan la información valiosa y la convierten en conocimiento accionable.

Además, el uso ético de las tecnologías de inteligencia artificial no debería considerarse solo sobre una base legal, sino también como una obligación moral y un imperativo comercial. Si sus soluciones tienen un gran alcance y afectan funciones comerciales críticas, debería ser un estándar de la industria ser transparente en la aplicación de las tecnologías de IA.

Muchas gracias por responder a estas preguntas importantes. Para ver los principios y enfoque de ABBYY para adherirse y promover principios de IA confiable, haga clic aquí. Cualquiera que desee obtener más información sobre ABBYY en general puede visitar el sitio web de ABBYY.