Empresas emergentes que crean herramientas para monitorear la IA y promover el uso ético de la IA

En el transcurso del último año, parece que se está prestando cada vez más atención a garantizar que la IA se utilice de manera ética. Google (GOOGL ) y Microsoft (MSFT ) han advertido recientemente a los inversores que el mal uso de los algoritmos de IA o los algoritmos de IA mal diseñados presentan riesgos éticos y legales. Mientras tanto, el estado de California acaba de decidir aprobar una ley que prohíbe el uso de tecnología de reconocimiento facial por parte de las agencias de aplicación de la ley de California.

Recientemente, empresas emergentes como Arthur han estado tratando de diseñar herramientas que ayuden a los ingenieros de IA a cuantificar y calificar el rendimiento de sus modelos de aprendizaje automático. Según un informe de Wired, Arthur está tratando de brindar a los desarrolladores de IA una herramienta que les permita descubrir problemas al diseñar aplicaciones financieras, como revelar sesgos en las decisiones de inversión o préstamo.

Los esfuerzos de Arthur están dirigidos a abordar el problema de la “caja negra” de la IA. El problema de la caja negra en la IA describe cómo, a diferencia del código tradicional, que puede ser interpretado fácilmente por aquellos que saben cómo leerlo, los sistemas de aprendizaje automático asignan características a comportamientos sin revelar las razones por las que se seleccionan estos comportamientos/cómo se interpretan estas características. En otras palabras, en un sistema de caja negra, la implementación exacta del algoritmo es opaca.

Los sistemas de aprendizaje automático operan extrayendo patrones de los datos de entrada y razonando sobre estos patrones. Esto se logra básicamente haciendo que una computadora escriba su propio código manipulando ciertas funciones matemáticas. Para abordar este problema, los investigadores y los ingenieros necesitan herramientas que faciliten la observación y el análisis del comportamiento del software de aprendizaje automático. Empresas emergentes como Arthur reconocen la dificultad de resolver este problema y no afirman tener las soluciones óptimas, pero esperan hacer progresos en este área y hacer que abrir la caja negra sea un poco más fácil. Se espera que si los sistemas de IA se pueden analizar más fácilmente, será más fácil corregir problemas como los sesgos.

Grandes empresas como Facebook (META ) ya tienen algunas herramientas para analizar el funcionamiento interno de los sistemas de aprendizaje automático. Por ejemplo, Facebook tiene una herramienta llamada Fairness Flow, que pretende garantizar que los anuncios que recomiendan trabajos a las personas se dirijan a personas de todos los orígenes. Sin embargo, es probable que los grandes equipos de IA no quieran invertir tiempo en crear tales herramientas, y por lo tanto, existe una oportunidad de negocio para las empresas que deseen crear herramientas de monitoreo para uso de las empresas de IA.

Arthur se centra en crear herramientas que permitan a las empresas mantener y monitorear mejor los sistemas de IA después de que el sistema ya se ha implementado. Las herramientas de Arthur están diseñadas para permitir que las empresas vean cómo cambia el rendimiento de su sistema con el tiempo, lo que teóricamente les permitiría detectar posibles manifestaciones de sesgo. Si el software de recomendación de préstamos de una empresa comienza a excluir a ciertos grupos de clientes, se puede establecer una bandera que indique que el sistema necesita ser revisado para garantizar que no esté discriminando a los clientes en función de atributos sensibles como la raza o el género.

Sin embargo, Arthur no es la única empresa que crea herramientas que permiten a las empresas de IA revisar el rendimiento de sus algoritmos. Muchas empresas emergentes están invirtiendo en la creación de herramientas para luchar contra los sesgos y garantizar que los algoritmos de IA se utilicen de manera ética. Weights & Biases es otra empresa emergente que crea herramientas para ayudar a los ingenieros de aprendizaje automático a analizar posibles problemas con su red. Toyota ha utilizado las herramientas creadas por Weights & Biases para monitorear sus dispositivos de aprendizaje automático mientras se entrenan. Mientras tanto, la empresa emergente Fiddler está trabajando en la creación de un conjunto diferente de herramientas de monitoreo de IA. IBM incluso ha creado su propio servicio de monitoreo llamado OpenScale.

Liz O’Sullivan, una de las co-creadoras de Arthur, explicó que el interés en crear herramientas para ayudar a resolver el problema de la caja negra se debe a una creciente conciencia del poder de la IA.

“La gente está empezando a darse cuenta de lo poderosos que pueden ser estos sistemas, y de que necesitan aprovechar los beneficios de una manera responsable”, dijo O’Sullivan.