Yaron Singer, CEO de Robust Intelligence y Profesor de Ciencias de la Computación en la Universidad de Harvard – Serie de Entrevistas

Yaron Singer es el CEO de Robust Intelligence y Profesor de Ciencias de la Computación y Matemáticas Aplicadas en Harvard. Yaron es conocido por sus resultados innovadores en aprendizaje automático, algoritmos y optimización. Anteriormente, Yaron trabajó en Google (GOOGL ) Research y obtuvo su doctorado en la Universidad de California, Berkeley.

¿Qué te atrajo inicialmente al campo de la informática y el aprendizaje automático?

Mi viaje comenzó con las matemáticas, que me llevaron a la informática, lo que me puso en el camino del aprendizaje automático. Las matemáticas inicialmente me interesaron porque su sistema axiomático me dio la capacidad de crear nuevos mundos. Con la informática, aprendí sobre pruebas existenciales, pero también sobre los algoritmos detrás de ellas. Desde una perspectiva creativa, la informática es el dibujo de límites entre lo que podemos y no podemos hacer.

Mi interés en el aprendizaje automático siempre ha estado arraigado en un interés en los datos reales, casi el aspecto físico de ellos. Tomar cosas del mundo real y modelarlas para hacer algo significativo. Podríamos literalmente ingeniar un mundo mejor a través de la modelización significativa. Así que las matemáticas me dieron una base para probar cosas, la informática me ayuda a ver qué se puede y no se puede hacer, y el aprendizaje automático me permite modelar estos conceptos en el mundo.

Hasta hace poco, eras Profesor de Ciencias de la Computación y Matemáticas Aplicadas en la Universidad de Harvard, ¿cuáles fueron algunos de tus principales logros en esta experiencia?

Mi mayor logro como miembro de la facultad de Harvard es que desarrolla la ambición de hacer cosas grandes. Harvard tradicionalmente tiene una facultad pequeña, y la expectativa de los profesores es abordar problemas grandes y crear nuevos campos. Debes ser audaz. Esto resulta ser una gran preparación para lanzar una startup que cree una categoría y defina un nuevo espacio. No necesariamente recomiendo pasar por la vía de la titularidad en Harvard primero, pero si sobrevives a eso, construir una startup es más fácil.

¿Puedes describir tu momento “eureka” cuando te diste cuenta de que los sistemas de inteligencia artificial sofisticados son vulnerables a los malos datos, con algunas implicaciones potencialmente de gran alcance?

Cuando era estudiante de doctorado en la Universidad de California, Berkeley, me tomé un tiempo para hacer una startup que construyó modelos de aprendizaje automático para marketing en redes sociales. Esto fue en 2010. Teníamos cantidades masivas de datos de las redes sociales, y codificamos todos los modelos desde cero. Las implicaciones financieras para los minoristas eran bastante significativas, así que seguimos de cerca el rendimiento de los modelos. Como usamos datos de las redes sociales, había muchos errores en la entrada, así como deriva. Vimos que errores muy pequeños resultaban en grandes cambios en la salida del modelo y podrían resultar en malos resultados financieros para los minoristas que usaban el producto.

Cuando me trasladé a trabajar en Google+ (para aquellos de nosotros que lo recuerdan), vi los mismos efectos. Más dramáticamente, en sistemas como AdWords que hacían predicciones sobre la probabilidad de que las personas hicieran clic en un anuncio para palabras clave, notamos que pequeños errores en la entrada del modelo llevaban a predicciones muy malas. Cuando presencias este problema a escala de Google, te das cuenta de que el problema es universal.

Estas experiencias moldearon en gran medida mi enfoque de investigación, y pasé mi tiempo en Harvard investigando por qué los modelos de inteligencia artificial cometen errores y, lo que es más importante, cómo diseñar algoritmos que puedan prevenir que los modelos cometan errores. Esto, por supuesto, llevó a más momentos “eureka” y, eventualmente, a la creación de Robust Intelligence.

¿Puedes compartir la historia de origen detrás de Robust Intelligence?

Robust Intelligence comenzó con una investigación sobre lo que inicialmente era un problema teórico: ¿cuáles son las garantías que podemos tener para las decisiones tomadas utilizando modelos de inteligencia artificial? Kojin era un estudiante en Harvard, y trabajamos juntos, inicialmente escribiendo artículos de investigación. Así que comienza con la escritura de artículos que describen lo que es fundamentalmente posible y lo que es imposible, teóricamente. Estos resultados más tarde continuaron con un programa para diseñar algoritmos y modelos que sean robustos a los fallos de la inteligencia artificial. Luego, construimos sistemas que puedan ejecutar estos algoritmos en la práctica. Después de eso, iniciar una empresa donde las organizaciones puedan utilizar un sistema como este fue un paso natural.

Muchos de los problemas que Robust Intelligence aborda son errores silenciosos, ¿qué son estos y qué los hace tan peligrosos?

Antes de dar una definición técnica de errores silenciosos, vale la pena dar un paso atrás y entender por qué debemos preocuparnos de que la inteligencia artificial cometa errores en primer lugar. La razón por la que nos importa que los modelos de inteligencia artificial cometan errores es las consecuencias de estos errores. Nuestro mundo utiliza la inteligencia artificial para automatizar decisiones críticas: quién obtiene un préstamo comercial y a qué tasa de interés, quién obtiene cobertura de seguro de salud y a qué tasa, qué barrios deben patrullar la policía, quién es el candidato más probable para un trabajo, cómo debemos organizar la seguridad del aeropuerto, etc. El hecho de que los modelos de inteligencia artificial sean extremadamente propensos a errores significa que al automatizar estas decisiones críticas, heredamos un gran riesgo. En Robust Intelligence, llamamos a esto “Riesgo de IA” y nuestra misión en la empresa es eliminar el Riesgo de IA.

Los errores silenciosos son errores de los modelos de inteligencia artificial donde el modelo de inteligencia artificial recibe una entrada y produce una predicción o decisión que es incorrecta o sesgada como salida. Así que, en la superficie, todo parece estar bien para el sistema, en el sentido de que el modelo de inteligencia artificial está haciendo lo que se supone que debe hacer desde una perspectiva funcional. Pero la predicción o decisión es errónea. Estos errores son silenciosos porque el sistema no sabe que hay un error. Esto puede ser mucho peor que el caso en el que un modelo de inteligencia artificial no produce una salida, porque puede tomar mucho tiempo para que las organizaciones se den cuenta de que su sistema de inteligencia artificial es defectuoso. Luego, el Riesgo de IA se convierte en fallos de IA, que pueden tener consecuencias graves.

Robust Intelligence ha diseñado esencialmente un Cortafuegos de IA, una idea que anteriormente se consideraba imposible. ¿Por qué es este un desafío técnico?

Una de las razones por las que el Cortafuegos de IA es un desafío es porque va en contra del paradigma que la comunidad de aprendizaje automático había adoptado. El paradigma anterior de la comunidad de aprendizaje automático había sido que, para erradicar los errores, es necesario alimentar más datos, incluidos los datos malos, a los modelos. Al hacer eso, los modelos se entrenarán a sí mismos y aprenderán a autocorregir los errores. El problema con este enfoque es que causa que la precisión del modelo disminuya dramáticamente. Los resultados mejor conocidos para imágenes, por ejemplo, causan que la precisión del modelo de inteligencia artificial disminuya del 98,5% al 37%.

El Cortafuegos de IA ofrece una solución diferente. Desacoplamos el problema de identificar un error del papel de crear una predicción, lo que significa que el cortafuegos puede centrarse en una tarea específica: determinar si un punto de datos producirá una predicción errónea.

Este fue un desafío en sí mismo debido a la dificultad de dar una predicción sobre un solo punto de datos. Hay muchas razones por las que los modelos cometen errores, así que construir una tecnología que pueda predecir estos errores no fue una tarea fácil. Somos muy afortunados de tener los ingenieros que tenemos.

¿Cómo puede el sistema ayudar a prevenir el sesgo de IA?

El sesgo del modelo proviene de una discrepancia entre los datos en los que se entrenó el modelo y los datos que está utilizando para hacer predicciones. Volviendo al Riesgo de IA, el sesgo es un problema importante atribuido a los errores silenciosos. Por ejemplo, este es a menudo un problema con las poblaciones subrepresentadas. Un modelo puede tener sesgo porque ha visto menos datos de esa población, lo que afectará dramáticamente el rendimiento del modelo y la precisión de sus predicciones. El Cortafuegos de IA puede alertar a las organizaciones sobre estas discrepancias de datos y ayudar al modelo a tomar decisiones correctas.

¿Cuáles son algunos de los otros riesgos para las organizaciones que un cortafuegos de IA ayuda a prevenir?

Cualquier empresa que utilice la inteligencia artificial para automatizar decisiones, especialmente decisiones críticas, introduce automáticamente un riesgo. Los malos datos podrían ser tan simples como ingresar un cero en lugar de un uno y aún así resultar en consecuencias significativas. Ya sea que el riesgo sea una predicción médica incorrecta o una predicción falsa sobre préstamos, el Cortafuegos de IA ayuda a las organizaciones a prevenir el riesgo en su totalidad.

¿Hay algo más que te gustaría compartir sobre Robust Intelligence?

Robust Intelligence está creciendo rápidamente y estamos recibiendo muchos candidatos excelentes que solicitan puestos. Pero algo que realmente quiero enfatizar para las personas que están considerando aplicar es que la calidad más importante que buscamos en los candidatos es su pasión por la misión. Nosotros nos reunimos con muchos candidatos que son fuertes técnicamente, así que realmente se trata de entender si están verdaderamente apasionados por eliminar el Riesgo de IA para hacer del mundo un lugar más seguro y mejor.

En el mundo al que nos dirigimos, muchas decisiones que actualmente toman los humanos serán automatizadas. Ya sea que nos guste o no, ese es un hecho. Dado eso, todos en Robust Intelligence queremos que las decisiones automatizadas se tomen de manera responsable. Así que, cualquier persona que esté emocionada de hacer un impacto, que entienda la forma en que esto puede afectar la vida de las personas, es un candidato que estamos buscando para unirnos a Robust Intelligence. Estamos buscando esa pasión. Estamos buscando a las personas que crearán esta tecnología que todo el mundo utilizará.

Gracias por la gran entrevista, disfruté aprendiendo sobre tus puntos de vista sobre la prevención del sesgo de IA y la necesidad de un cortafuegos de IA, los lectores que deseen aprender más pueden visitar Robust Intelligence.