Yaron Singer, CEO en Robust Intelligence y Profesor de Ciencias de la Computación en la Universidad de Harvard – Serie de Entrevistas

Yaron Singer es el CEO de Robust Intelligence y Profesor de Ciencias de la Computación y Matemáticas Aplicadas en Harvard. Yaron es conocido por resultados innovadores en aprendizaje automático, algoritmos y optimización. Anteriormente, Yaron trabajó en Google Research y obtuvo su doctorado en UC Berkeley.

¿Qué te atrajo inicialmente al campo de la ciencia de la computación y el aprendizaje automático?

Mi viaje comenzó con las matemáticas, que me llevaron a la ciencia de la computación, lo que me puso en el camino del aprendizaje automático. Las matemáticas inicialmente capturaron mi interés porque su sistema axiomático me dio la capacidad de crear nuevos mundos. Con la ciencia de la computación, aprendí sobre pruebas existenciales, pero también sobre los algoritmos detrás de ellas. Desde una perspectiva creativa, la ciencia de la computación es el dibujo de límites entre lo que podemos y no podemos hacer.

Mi interés en el aprendizaje automático siempre ha estado arraigado en un interés en los datos reales, casi en el aspecto físico de ellos. Tomar cosas del mundo real y modelarlas para hacer algo significativo. Podríamos literalmente ingeniar un mundo mejor a través de un modelado significativo. Así que las matemáticas me dieron una base para probar cosas, la ciencia de la computación me ayuda a ver qué se puede y no se puede hacer, y el aprendizaje automático me permite modelar estos conceptos en el mundo.

Hasta hace poco, eras Profesor de Ciencias de la Computación y Matemáticas Aplicadas en la Universidad de Harvard, ¿cuáles fueron algunos de tus principales conocimientos adquiridos de esta experiencia?

Mi mayor conocimiento adquirido al ser miembro de la facultad en Harvard es que desarrolla el apetito de hacer cosas grandes. Harvard tradicionalmente tiene una facultad pequeña, y la expectativa de la facultad de carrera es abordar problemas grandes y crear nuevos campos. Debes ser audaz. Esto termina siendo una gran preparación para lanzar una startup que crea una categoría y define un nuevo espacio. No necesariamente recomiendo pasar por la carrera de Harvard primero, pero si sobrevives a eso, construir una startup es más fácil.

¿Puedes describir tu momento de “aha” cuando te diste cuenta de que los sistemas de inteligencia artificial sofisticados son vulnerables a los malos datos, con algunas posibles implicaciones de gran alcance?

Cuando era estudiante de doctorado en UC Berkeley, me tomé un tiempo para hacer una startup que construyó modelos de aprendizaje automático para marketing en redes sociales. Esto fue en 2010. Teníamos cantidades masivas de datos de las redes sociales, y codificamos todos los modelos desde cero. Las implicaciones financieras para los minoristas eran bastante significativas, así que seguimos de cerca el rendimiento de los modelos. Dado que usamos datos de las redes sociales, había muchos errores en la entrada, así como deriva. Vimos que errores muy pequeños resultaban en grandes cambios en la salida del modelo y podrían resultar en malos resultados financieros para los minoristas que usaban el producto.

Cuando me trasladé a trabajar en Google+ (para aquellos de nosotros que lo recuerdan), vi los mismos efectos. Más dramáticamente, en sistemas como AdWords que hacían predicciones sobre la probabilidad de que las personas hicieran clic en un anuncio para palabras clave, notamos que pequeños errores en la entrada del modelo llevaban a predicciones muy pobres. Cuando presencias este problema a escala de Google, te das cuenta de que el problema es universal.

Estas experiencias moldearon en gran medida mi enfoque de investigación, y pasé mi tiempo en Harvard investigando por qué los modelos de inteligencia artificial cometen errores y, lo que es importante, cómo diseñar algoritmos que puedan prevenir que los modelos cometan errores. Esto, por supuesto, llevó a más momentos de “aha” y, eventualmente, a la creación de Robust Intelligence.

¿Puedes compartir la historia de génesis detrás de Robust Intelligence?

Robust Intelligence comenzó con una investigación sobre lo que inicialmente era un problema teórico: ¿cuáles son las garantías que podemos tener para las decisiones tomadas utilizando modelos de inteligencia artificial. Kojin era un estudiante en Harvard, y trabajamos juntos, inicialmente escribiendo artículos de investigación. Así que comienza con la escritura de artículos que describen qué es fundamentalmente posible y imposible, teóricamente. Estos resultados más tarde continuaron con un programa para diseñar algoritmos y modelos que sean robustos a los fallos de la inteligencia artificial. Luego, construimos sistemas que pueden ejecutar estos algoritmos en la práctica. Después de eso, comenzar una empresa donde las organizaciones puedan usar un sistema como este fue un paso natural.

Muchas de las cuestiones que Robust Intelligence aborda son errores silenciosos, ¿qué son y qué los hace tan peligrosos?

Antes de dar una definición técnica de errores silenciosos, vale la pena dar un paso atrás y entender por qué debemos preocuparnos por que los modelos de inteligencia artificial cometan errores en primer lugar. La razón por la que nos importa que los modelos de inteligencia artificial cometan errores es las consecuencias de estos errores. Nuestro mundo está utilizando la inteligencia artificial para automatizar decisiones críticas: quién obtiene un préstamo comercial y a qué tasa de interés, quién obtiene cobertura de seguro de salud y a qué tasa, qué barrios deben patrullar la policía, quién es el candidato más probable para un trabajo, cómo debemos organizar la seguridad del aeropuerto, etc. El hecho de que los modelos de inteligencia artificial sean extremadamente propensos a errores significa que al automatizar estas decisiones críticas, heredamos un gran riesgo. En Robust Intelligence, llamamos a esto “Riesgo de IA” y nuestra misión en la empresa es eliminar el Riesgo de IA.

Los errores silenciosos son errores de los modelos de inteligencia artificial donde el modelo de inteligencia artificial recibe una entrada y produce una predicción o decisión que es incorrecta o sesgada como salida. Así que, en la superficie, todo parece estar bien para el sistema, en el sentido de que el modelo de inteligencia artificial está haciendo lo que se supone que debe hacer desde una perspectiva funcional. Pero la predicción o decisión es errónea. Estos errores son silenciosos porque el sistema no sabe que hay un error. Esto puede ser mucho peor que el caso en el que un modelo de inteligencia artificial no produce una salida, porque puede tomar mucho tiempo para que las organizaciones se den cuenta de que su sistema de inteligencia artificial es defectuoso. Luego, el Riesgo de IA se convierte en fallos de IA, que pueden tener consecuencias graves.

Robust Intelligence ha diseñado esencialmente un Cortafuegos de IA, una idea que previamente se consideraba imposible. ¿Por qué es este un desafío técnico?

Una de las razones por las que el Cortafuegos de IA es un desafío es porque va en contra del paradigma que la comunidad de aprendizaje automático había adoptado. El paradigma anterior de la comunidad de aprendizaje automático había sido que, para erradicar los errores, es necesario alimentar más datos, incluidos datos malos, a los modelos. Al hacerlo, los modelos se entrenarán a sí mismos y aprenderán a autocorregir los errores. El problema con este enfoque es que causa que la precisión del modelo disminuya dramáticamente. Los resultados mejor conocidos para imágenes, por ejemplo, causan que la precisión del modelo de inteligencia artificial disminuya de 98,5% a aproximadamente 37%.

El Cortafuegos de IA ofrece una solución diferente. Desacoplamos el problema de identificar un error del papel de crear una predicción, lo que significa que el cortafuegos puede centrarse en una tarea específica: determinar si un punto de datos producirá una predicción errónea.

Este fue un desafío en sí mismo debido a la dificultad de dar una predicción sobre un solo punto de datos. Hay muchas razones por las que los modelos cometen errores, así que construir una tecnología que pueda predecir estos errores no fue una tarea fácil. Somos muy afortunados de tener a los ingenieros que tenemos.

¿Cómo puede el sistema ayudar a prevenir el sesgo de IA?

El sesgo del modelo proviene de una discrepancia entre los datos en los que se entrenó el modelo y los datos que está utilizando para hacer predicciones. Volviendo al Riesgo de IA, el sesgo es un problema importante atribuido a errores silenciosos. Por ejemplo, este es a menudo un problema con poblaciones subrepresentadas. Un modelo puede tener sesgo porque ha visto menos datos de esa población, lo que afectará dramáticamente el rendimiento del modelo y la precisión de sus predicciones. El Cortafuegos de IA puede alertar a las organizaciones sobre estas discrepancias de datos y ayudar al modelo a tomar decisiones correctas.

¿Cuáles son algunos de los otros riesgos para las organizaciones que un cortafuegos de IA ayuda a prevenir?

Cualquier empresa que utilice la inteligencia artificial para automatizar decisiones, especialmente decisiones críticas, introduce automáticamente un riesgo. Los malos datos podrían ser algo tan menor como ingresar un cero en lugar de un uno y aún así resultar en consecuencias significativas. Ya sea que el riesgo sea una predicción médica incorrecta o una predicción falsa sobre préstamos, el Cortafuegos de IA ayuda a las organizaciones a prevenir el riesgo en general.

¿Hay algo más que te gustaría compartir sobre Robust Intelligence?

Robust Intelligence está creciendo rápidamente y estamos recibiendo muchas solicitudes de candidatos excelentes. Pero algo que realmente quiero enfatizar para las personas que están considerando aplicar es que la cualidad más importante que buscamos en los candidatos es su pasión por la misión. Conocemos a muchos candidatos que son fuertes técnicamente, así que realmente se reduce a si entienden si están verdaderamente apasionados por eliminar el Riesgo de IA para hacer del mundo un lugar más seguro y mejor.

En el mundo al que nos dirigimos, muchas decisiones que actualmente toman los humanos serán automatizadas. Ya sea que nos guste o no, ese es un hecho. Dado eso, todos en Robust Intelligence queremos que las decisiones automatizadas se tomen de manera responsable. Así que, cualquier persona que esté emocionada de tener un impacto, que entienda la forma en que esto puede afectar la vida de las personas, es un candidato que estamos buscando para unirse a Robust Intelligence. Estamos buscando esa pasión. Estamos buscando a las personas que crearán esta tecnología que todo el mundo usará.

Gracias por la gran entrevista, disfruté aprendiendo sobre tus puntos de vista sobre la prevención del sesgo de IA y sobre la necesidad de un cortafuegos de IA, los lectores que deseen aprender más deben visitar Robust Intelligence.