Investigadores Desarrollan Algoritmos Dirigidos a Prevenir Mal Comportamiento en la IA

Junto con todos los avances y ventajas que la inteligencia artificial ha exhibido hasta ahora, también hubo informes de efectos secundarios no deseados como sesgo racial y de género en la IA. Así que, como sciencealert.com plantea la pregunta “¿cómo pueden los científicos asegurarse de que los sistemas de pensamiento avanzados puedan ser justos, o incluso seguros?”

La respuesta puede estar en el informe de los investigadores de Stanford y la Universidad de Massachusetts Amherst, titulado Prevenir el comportamiento no deseado de las máquinas inteligentes. Como eurekaalert.org señala en su historia sobre este informe, la IA ahora está empezando a manejar tareas sensibles, por lo que “los formuladores de políticas están insistiendo en que los científicos informáticos ofrezcan garantías de que los sistemas automatizados han sido diseñados para minimizar, si no evitar completamente, resultados no deseados como el exceso de riesgo o el sesgo racial y de género.”

El informe que presentó este equipo de investigadores “describe una nueva técnica que traduce un objetivo difuso, como evitar el sesgo de género, en criterios matemáticos precisos que permitirían a un algoritmo de aprendizaje automático entrenar una aplicación de IA para evitar ese comportamiento.”

El propósito era, como Emma Brunskill, profesora asistente de ciencias de la computación en Stanford y autora principal del artículo, señala “queremos avanzar en la IA que respete los valores de sus usuarios humanos y justifique la confianza que depositamos en los sistemas autónomos.”

La idea era definir resultados o comportamientos “inseguros” o “injustos” en términos matemáticos. Esto, según los investigadores, haría posible “crear algoritmos que puedan aprender de los datos sobre cómo evitar estos resultados no deseados con alta confianza.”

El segundo objetivo era “desarrollar un conjunto de técnicas que hicieran que fuera fácil para los usuarios especificar qué tipos de comportamiento no deseado quieren restringir y permitir que los diseñadores de aprendizaje automático predijeran con confianza que un sistema entrenado con datos pasados puede ser confiable cuando se aplica en circunstancias del mundo real.”

ScienceAlert dice que el equipo nombró a este nuevo sistema algoritmos ‘Seldonianos’, en honor al personaje central de la famosa serie de novelas de ciencia ficción Foundation de Isaac Asimov. Philip Thomas, profesor asistente de ciencias de la computación en la Universidad de Massachusetts Amherst y autor principal del artículo, señala, “Si uso un algoritmo Seldoniano para el tratamiento de la diabetes, puedo especificar que el comportamiento no deseado significa niveles de azúcar en la sangre peligrosamente bajos o hipoglucemia.”

“Puedo decirle a la máquina, ‘Mientras intentas mejorar el controlador en la bomba de insulina, no hagas cambios que aumenten la frecuencia de la hipoglucemia.’ La mayoría de los algoritmos no te dan una forma de poner este tipo de restricción en el comportamiento; no se incluyó en los diseños iniciales.”

Thomas agrega que “este marco Seldoniano hará que sea más fácil para los diseñadores de aprendizaje automático incorporar instrucciones de evitación de comportamiento en todo tipo de algoritmos, de una manera que les permita evaluar la probabilidad de que los sistemas entrenados funcionen correctamente en el mundo real.”

Por su parte, Emma Brunskill también señala que “pensar en cómo podemos crear algoritmos que respeten mejor los valores como la seguridad y la justicia es esencial a medida que la sociedad depende cada vez más de la IA.”