Investigadores Desarrollan Algoritmos Dirigidos a Prevenir un Mal Comportamiento en la IA

Junto con todos los avances y ventajas que la inteligencia artificial ha exhibido hasta ahora, también hubo informes de efectos secundarios indeseables como la discriminación racial y de género en la IA. Así que, como sciencealert.com plantea la pregunta “¿cómo pueden los científicos asegurarse de que los sistemas de pensamiento avanzados puedan ser justos, o incluso seguros?”

La respuesta puede estar en el informe de los investigadores de Stanford y la Universidad de Massachusetts Amherst, titulado Previniendo el comportamiento indeseable de las máquinas inteligentes. Como eurekaalert.org señala en su historia sobre este informe, la IA ahora está empezando a manejar tareas sensibles, por lo que “los formuladores de políticas insisten en que los científicos informáticos ofrezcan garantías de que los sistemas automatizados han sido diseñados para minimizar, si no evitar completamente, resultados no deseados como el exceso de riesgo o la discriminación racial y de género.”

El informe que presentó este equipo de investigadores “describe una nueva técnica que traduce un objetivo difuso, como evitar la discriminación de género, en criterios matemáticos precisos que permitirían a un algoritmo de aprendizaje automático entrenar una aplicación de IA para evitar ese comportamiento.”

El propósito era, como Emma Brunskill, profesora asistente de ciencias de la computación en Stanford y autora principal del artículo, señala “queremos avanzar en la IA que respeta los valores de sus usuarios humanos y justifica la confianza que depositamos en los sistemas autónomos.”

La idea era definir resultados o comportamientos “inseguros” o “injustos” en términos matemáticos. Esto, según los investigadores, permitiría “crear algoritmos que puedan aprender de los datos sobre cómo evitar estos resultados no deseados con alta confianza.”

El segundo objetivo era “desarrollar un conjunto de técnicas que hiciera fácil para los usuarios especificar qué tipo de comportamiento no deseado quieren restringir y permitir a los diseñadores de aprendizaje automático predecir con confianza que un sistema entrenado con datos pasados puede ser confiable cuando se aplica en circunstancias del mundo real.”

ScienceAlert dice que el equipo llamó a este nuevo sistema algoritmos ‘Seldonianos’, en honor al personaje central de la famosa serie de novelas de ciencia ficción Fundación de Isaac Asimov. Philip Thomas, profesor asistente de ciencias de la computación en la Universidad de Massachusetts Amherst y autor principal del artículo, señala, “Si uso un algoritmo Seldoniano para el tratamiento de la diabetes, puedo especificar que el comportamiento indeseable significa niveles de azúcar en la sangre peligrosamente bajos o hipoglucemia.”

“Puedo decirle a la máquina, ‘Mientras intentas mejorar el controlador de la bomba de insulina, no hagas cambios que aumenten la frecuencia de la hipoglucemia.’ La mayoría de los algoritmos no te dan una forma de imponer este tipo de restricción en el comportamiento; no se incluyó en los diseños iniciales.”

Thomas agrega que “este marco Seldoniano hará que sea más fácil para los diseñadores de aprendizaje automático incorporar instrucciones de evitación de comportamiento en todo tipo de algoritmos, de una manera que les permita evaluar la probabilidad de que los sistemas entrenados funcionen correctamente en el mundo real.”

Por su parte, Emma Brunskill también señala que “pensar en cómo podemos crear algoritmos que respeten mejor los valores como la seguridad y la justicia es esencial a medida que la sociedad depende cada vez más de la IA.”