Wilson Pang, coautor de Inteligencia Artificial en el Mundo Real – Serie de Entrevistas

Wilson Pang se unió a Appen en noviembre de 2018 como director de tecnología y es responsable de los productos y la tecnología de la empresa. Wilson tiene más de diecinueve años de experiencia en ingeniería de software y ciencia de datos. Antes de unirse a Appen, Wilson fue director de datos de Ctrip en China, la segunda empresa de agencia de viajes en línea más grande del mundo, donde lideró a ingenieros de datos, analistas, gerentes de productos de datos y científicos para mejorar la experiencia del usuario y aumentar la eficiencia operativa que creció el negocio. Antes de eso, fue director senior de ingeniería en eBay en California y proporcionó liderazgo en varios dominios, incluyendo servicios de datos y soluciones, ciencia de búsqueda, tecnología de marketing y sistemas de facturación. Trabajó como arquitecto en IBM antes de eBay, construyendo soluciones tecnológicas para varios clientes. Wilson obtuvo sus títulos de maestría y licenciatura en ingeniería eléctrica de la Universidad de Zhejiang en China.

Discutimos su nuevo libro: El Mundo Real de la Inteligencia Artificial: Una Guía Práctica para el Aprendizaje de Máquina Responsable

Describe cómo, cuando lideraste los equipos de ciencia de búsqueda de eBay, una de tus primeras lecciones con el aprendizaje automático fue entender la importancia de saber qué métricas medir. El ejemplo dado fue cómo la métrica “compras por sesión” no tuvo en cuenta el valor monetario de un artículo. ¿Cómo pueden las empresas entender mejor qué métricas necesitan medir para evitar problemas similares?

Comienza con los objetivos que tu equipo asigna al modelo de inteligencia artificial – en nuestro caso, queríamos impulsar más ingresos con el aprendizaje automático. Cuando asignas métricas a los objetivos, piensa en qué mecánica producirán esas métricas, una vez que se lance el modelo y la gente comience a interactuar con él, pero también toma nota de tus suposiciones. En nuestro caso, supusimos que el modelo se optimizaría para los ingresos, pero el número de compras por sesión no se tradujo en eso, porque el modelo se optimizaba para un gran número de ventas de bajo valor y al final del día no estábamos ganando más dinero. Una vez que nos dimos cuenta de eso, pudimos cambiar las métricas y dirigir el modelo en la dirección correcta. Así que determinar las métricas granulares, así como tener en cuenta las suposiciones, es fundamental para el éxito de un proyecto.

¿Qué aprendiste personalmente al investigar y escribir este libro?

Tenemos muchos problemas diferentes que se pueden resolver con la inteligencia artificial de diferentes empresas y diferentes industrias. Los casos de uso pueden ser muy diferentes, la solución de inteligencia artificial puede ser diferente, los datos para entrenar esa solución de inteligencia artificial pueden ser diferentes. Sin embargo, a pesar de todas esas diferencias, los errores que la gente cometió durante su viaje de inteligencia artificial son bastante similares. Esos errores sucedieron una y otra vez en todo tipo de empresas de todo tipo de industrias.

Compartimos algunas prácticas recomendadas comunes al implementar proyectos de inteligencia artificial con la esperanza de ayudar a más personas y empresas a evitar esos errores y ganar confianza para implementar una inteligencia artificial responsable.

¿Cuáles son algunas de las lecciones más importantes que esperas que la gente saque de leer esto?

Creamos firmemente que usos reflexivos, responsables y éticos de la tecnología de aprendizaje automático pueden hacer que el mundo sea un lugar más justo, equitativo e inclusivo. La tecnología de aprendizaje automático promete reformar todo en el mundo empresarial, pero no tiene que ser difícil. Hay métodos y procesos probados que los equipos pueden seguir y obtener la confianza para implementar en producción.

Otra lección clave es que los propietarios de líneas de negocio (como los gerentes de producto) y los miembros del equipo en el lado más técnico (como los ingenieros y científicos de datos) necesitan hablar un lenguaje común. Para implementar con éxito la inteligencia artificial, los líderes deben cerrar la brecha entre los equipos, brindando a los especialistas en negocios y a los ejecutivos de nivel C suficiente contexto para conversar eficientemente con los implementadores técnicos.

Muchas personas piensan primero en el código cuando piensan en la inteligencia artificial. Una de las lecciones clave en el libro es que los datos son fundamentales para el éxito de un modelo de inteligencia artificial. Hay mucho que hacer con los datos, desde la recopilación hasta la etiquetado, el almacenamiento y cada paso influirá en el éxito del modelo. Los despliegues de inteligencia artificial más exitosos son aquellos que ponen un gran énfasis en los datos y se esfuerzan por mejorar continuamente este aspecto de su modelo de aprendizaje automático.

Toda la inteligencia artificial en el mundo real requiere un equipo interfuncional y un espíritu innovador.

Se discute la determinación de cuándo la precisión de un modelo de inteligencia artificial es lo suficientemente alta como para respaldar el uso de la inteligencia artificial. ¿Cuál es la forma más sencilla de evaluar el tipo de precisión que se necesita?

Depende de tus casos de uso y tolerancia al riesgo. Los equipos que desarrollan la inteligencia artificial siempre deben tener una fase de prueba en la que determinen los niveles de precisión y los umbrales aceptables para sus organizaciones y partes interesadas. Para los casos de uso de vida o muerte – donde hay un daño potencial si la inteligencia artificial sale mal, como en el caso de software de sentencia, coches autónomos, casos médicos, la barra es muy, muy alta – y los equipos deben establecer contingencias en caso de que los modelos sean incorrectos. Para los casos de uso más tolerantes a los fallos, donde hay mucha subjetividad en juego – como la relevancia del contenido, la búsqueda o la publicidad, los equipos pueden confiar en la retroalimentación del usuario para continuar ajustando sus modelos incluso mientras están en producción. Por supuesto, también hay algunos casos de uso de alto riesgo aquí, donde el material ilegal o inmoral podría mostrarse a los usuarios, por lo que deben establecerse mecanismos de salvaguarda y retroalimentación.

¿Puedes definir la importancia de definir el éxito para un proyecto desde el principio?

Es igual de importante comenzar con un problema empresarial como definir el éxito desde el principio, ya que los dos van de la mano. Siguiendo el ejemplo del libro sobre el concesionario de automóviles que utiliza la inteligencia artificial para etiquetar imágenes, no determinaron qué aspecto tenía el éxito porque no habían definido un problema empresarial que resolver. El éxito para ellos podría haber sido una serie de cosas diferentes, lo que hace que sea difícil resolver un problema, incluso para equipos de personas, y más aún para un modelo de aprendizaje automático con un alcance fijo. Si hubieran establecido que el éxito era etiquetar con precisión el 80% de todos los vehículos con abolladuras en el inventario de automóviles usados, entonces, cuando hubieran etiquetado con precisión el 85%, el equipo lo habría considerado un éxito. Pero si ese éxito no está vinculado al problema empresarial y al impacto empresarial directo, es difícil evaluar el proyecto fuera de la definición enfocada de precisión de etiquetado en este ejemplo. Aquí, el problema empresarial era más complejo, y la etiquetado de abolladuras es solo un componente de él. En su caso, podrían haber sido mejores definiendo el éxito como ahorrar tiempo/dinero en el proceso de reclamaciones u optimizar el proceso de reparaciones en un X% y luego traducir el impacto de la etiquetado en resultados empresariales reales.

¿Cuán importante es asegurarse de que los ejemplos de datos de entrenamiento cubran todos los casos de uso que ocurrirán en la implementación de producción?

Es extremadamente importante que el modelo se entrene en todos los casos de uso para evitar sesgos. Pero también es importante tener en cuenta que, si bien es imposible cubrir absolutamente todos los casos de uso en producción, los equipos que construyen la inteligencia artificial necesitan comprender sus datos de producción, así como sus datos de entrenamiento, para que entrenen a la inteligencia artificial para lo que encontrará en producción. Acceder a datos de entrenamiento que provienen de grandes grupos diversos con varios casos de uso será fundamental para el éxito del modelo. Por ejemplo, un modelo que se entrena para reconocer las mascotas de las personas en una imagen subida necesita ser entrenado en todos los tipos de mascotas; perros, gatos, pájaros, pequeños mamíferos, lagartos, etc. Si el modelo solo se entrena en perros, gatos y pájaros, entonces, cuando alguien sube una imagen con su cobaya, el modelo no podrá identificarla. Si bien este es un ejemplo muy simple, muestra cómo entrenar en tantos casos de uso probables como sea posible es fundamental para el éxito de un modelo.

Se discute en el libro la necesidad de desarrollar buenos hábitos de higiene de datos desde arriba hacia abajo, ¿cuáles son algunos de los primeros pasos comunes para fomentar este hábito?

Los buenos hábitos de higiene de datos aumentarán la usabilidad de los datos internos y los prepararán para los casos de uso de aprendizaje automático. Toda la empresa debe volverse buena en organizar y llevar un registro de sus conjuntos de datos. Una forma segura de lograr esto es hacer que sea un requisito empresarial y realizar un seguimiento de la implementación para que haya muy pocos informes que terminen siendo trabajos personalizados, y los equipos trabajen más y más con tuberías de datos canalizadas a un repositorio central, con una ontología clara. Otra buena práctica es mantener un registro de cuándo y dónde se recopilaron los datos y qué les sucedió antes de que se colocaran en la base de datos, así como establecer procesos para limpiar los datos no utilizados o desactualizados periódicamente.

Gracias por la gran entrevista, para los lectores que están interesados en aprender más, les recomiendo que lean el libro El Mundo Real de la Inteligencia Artificial: Una Guía Práctica para el Aprendizaje de Máquina Responsable.