Wilson Pang, coautor de Real World AI – Serie de entrevistas

Wilson Pang se unió a Appen en noviembre de 2018 como CTO y es responsable de los productos y la tecnología de la empresa. Wilson tiene más de diecinueve años de experiencia en ingeniería de software y ciencia de datos. Antes de unirse a Appen, Wilson fue director de datos de Ctrip en China, la segunda empresa de agencia de viajes en línea más grande del mundo, donde dirigió a ingenieros de datos, analistas, gerentes de productos de datos y científicos para mejorar la experiencia del usuario y aumentar la eficiencia operativa que creció el negocio. Antes de eso, fue director senior de ingeniería en eBay en California y proporcionó liderazgo en varios dominios, incluyendo servicios y soluciones de datos, ciencia de búsqueda, tecnología de marketing y sistemas de facturación. Trabajó como arquitecto en IBM antes de eBay, construyendo soluciones tecnológicas para varios clientes. Wilson obtuvo sus títulos de maestría y licenciatura en ingeniería eléctrica de la Universidad de Zhejiang en China.

Discutimos su nuevo libro: El mundo real de la IA: Una guía práctica para el aprendizaje automático responsable

Describe cómo, cuando dirigiste los equipos de ciencia de búsqueda de eBay, una de tus primeras lecciones con el aprendizaje automático fue entender la importancia de saber qué métricas medir. El ejemplo dado fue cómo la métrica “compras por sesión” no tuvo en cuenta el valor monetario de un artículo. ¿Cómo pueden las empresas entender mejor qué métricas necesitan medir para evitar problemas similares?

Comienza con los objetivos que tu equipo atribuye al modelo de IA – en nuestro caso, queríamos impulsar más ingresos con el aprendizaje automático. Cuando adjuntas métricas a los objetivos, piensa en qué mecánicas producirán esas métricas, una vez que liberes el modelo y la gente comience a interactuar con él, pero también toma nota de tus suposiciones. En nuestro caso, supusimos que el modelo optimizaría los ingresos, pero el número de compras por sesión no se tradujo en eso, porque el modelo estaba optimizando para un gran número de ventas de bajo valor y al final del día no estábamos ganando más dinero. Una vez que nos dimos cuenta de eso, pudimos cambiar las métricas y dirigir el modelo en la dirección correcta. Entonces, determinar las métricas granulares, así como tener en cuenta las suposiciones, es fundamental para el éxito del proyecto.

¿Qué aprendiste personalmente al investigar y escribir este libro?

Tenemos muchos problemas diferentes que se pueden resolver con IA de diferentes empresas y diferentes industrias. Los casos de uso pueden ser muy diferentes, la solución de IA puede ser diferente, los datos para entrenar esa solución de IA pueden ser diferentes. Sin embargo, a pesar de todas esas diferencias, los errores que la gente cometió durante su viaje de IA son bastante similares. Esos errores sucedieron una y otra vez en todo tipo de empresas de todo tipo de industrias.

Compartimos algunas mejores prácticas comunes al implementar proyectos de IA con la esperanza de ayudar a más personas y empresas a evitar esos errores y ganar confianza para implementar IA responsable.

¿Cuáles son algunas de las lecciones más importantes que esperas que la gente saque de leer esto?

Creemos firmemente que usos reflexivos, responsables y éticos de la tecnología de aprendizaje automático pueden hacer que el mundo sea un lugar más justo, equitativo e inclusivo. La tecnología de aprendizaje automático promete reformar todo en el mundo empresarial, pero no tiene que ser difícil. Hay métodos y procesos probados que los equipos pueden seguir y obtener confianza para implementar en producción.

Otra lección clave es que los propietarios de la línea de negocio (como los gerentes de producto) y los miembros del equipo en el lado más técnico (como los ingenieros y científicos de datos) necesitan hablar un lenguaje común. Para implementar IA con éxito, los líderes deben cerrar la brecha entre los equipos, brindando a los especialistas en negocios y al nivel C suficiente contexto para conversar eficientemente con los implementadores técnicos.

Mucha gente piensa primero en el código cuando piensa en IA. Una de las lecciones clave en el libro es que los datos son fundamentales para el éxito del modelo de IA. Hay mucho que hacer con los datos, desde la recopilación hasta la etiquetado, el almacenamiento y cada paso influirá en el éxito del modelo. Las implementaciones de IA más exitosas son aquellas que ponen un gran énfasis en los datos y se esfuerzan por mejorar continuamente este aspecto de su modelo de ML.

Todo lo que se requiere para IA en el mundo real es un equipo multifuncional y un espíritu innovador.

Se discute la determinación de cuándo la precisión de un modelo de IA es lo suficientemente alta como para respaldar el uso de IA. ¿Cuál es la forma más sencilla de evaluar el tipo de precisión que se necesita?

Depende de tus casos de uso y tolerancia al riesgo. Los equipos que desarrollan IA siempre deben tener una fase de prueba donde determinen los niveles de precisión y umbrales aceptables para sus organizaciones y partes interesadas. Para casos de uso de vida o muerte – donde hay un daño potencial si la IA se equivoca, como en el caso de software de sentencia, coches autónomos, casos de uso médicos, la barra es muy, muy alta – y los equipos deben poner en lugar contingencias en caso de que los modelos estén equivocados. Para casos de uso más tolerantes a los fallos – donde hay mucha subjetividad en juego – como contenido, búsqueda o relevancia de anuncios, los equipos pueden confiar en la retroalimentación del usuario para continuar ajustando sus modelos incluso mientras están en producción. Por supuesto, también hay algunos casos de uso de alto riesgo aquí, donde material ilegal o inmoral podría mostrarse a los usuarios, por lo que deben estar en lugar mecanismos de salvaguarda y retroalimentación.

¿Puedes definir la importancia de definir el éxito de un proyecto desde el principio?

Es igual de importante comenzar con un problema empresarial como definir el éxito desde el principio, ya que los dos van de la mano. Siguiendo el ejemplo del libro sobre el concesionario de automóviles que utiliza IA para etiquetar imágenes, no determinaron qué aspecto tenía el éxito porque no habían definido un problema empresarial que resolver. El éxito para ellos podría haber sido una serie de cosas diferentes, lo que hace que sea difícil resolver un problema, incluso para equipos de personas, y mucho menos para un modelo de aprendizaje automático con un alcance fijo. Si hubieran salido con el objetivo de etiquetar todos los vehículos con abolladuras para crear una lista de vehículos que necesitan reparación y definir el éxito como etiquetar con precisión el 80% de todas las abolladuras en el inventario de automóviles usados, entonces, cuando hubieran etiquetado con precisión el 85%, el equipo lo habría considerado un éxito. Pero si ese éxito no está vinculado al problema empresarial y al impacto empresarial directo, es difícil evaluar el proyecto fuera de la definición enfocada de precisión de etiquetado en este ejemplo. Aquí, el problema empresarial era más complejo, y etiquetar abolladuras es solo un componente de él. En su caso, podrían haber hecho mejor al definir el éxito como ahorrar tiempo/dinero en el proceso de reclamaciones o optimizar el proceso de reparaciones en un X% y luego traducir el impacto de la etiqueta en resultados comerciales reales.

¿Cuán importante es asegurarse de que los ejemplos de datos de entrenamiento cubran todos los casos de uso que ocurrirán en la implementación de producción?

Es extremadamente importante que el modelo se entrene en todos los casos de uso para evitar sesgos. Pero también es importante tener en cuenta que, si bien es imposible cubrir absolutamente todos los casos de uso en producción, los equipos que construyen IA necesitan comprender sus datos de producción, así como sus datos de entrenamiento, para que puedan entrenar a la IA para lo que encontrará en producción. Acceder a datos de entrenamiento que provengan de grandes grupos diversos con varios casos de uso será fundamental para el éxito del modelo. Por ejemplo, un modelo que se entrena para reconocer las mascotas de las personas en una imagen subida necesita ser entrenado en todos los tipos de mascotas; perros, gatos, aves, pequeños mamíferos, reptiles, etc. Si el modelo solo se entrena con perros, gatos y aves, entonces, cuando alguien suba una imagen con su cobaya, el modelo no podrá identificarla. Si bien este es un ejemplo muy simple, muestra cómo entrenar en la mayoría de los casos de uso probables es fundamental para el éxito del modelo.

Se discute en el libro la necesidad de desarrollar buenos hábitos de higiene de datos desde arriba hacia abajo, ¿cuáles son los primeros pasos comunes para fomentar este hábito?

Los buenos hábitos de higiene de datos aumentarán la usabilidad de los datos internos y los prepararán para casos de uso de ML. Toda la empresa debe volverse buena en organizar y llevar un registro de sus conjuntos de datos. Una forma segura de lograr esto es hacer de ello un requisito empresarial y rastrear la implementación para que haya muy pocos informes que terminen siendo trabajos personalizados, y los equipos trabajen más y más con tuberías de datos canalizadas a un repositorio central, con una ontología clara. Otra buena práctica es mantener un registro de cuándo y dónde se recopiló los datos y qué les sucedió antes de que se colocaran en la base de datos, así como establecer procesos para limpiar los datos no utilizados o estancados periódicamente.

Gracias por la gran entrevista, para los lectores que estén interesados en aprender más, les recomiendo que lean el libro El mundo real de la IA: Una guía práctica para el aprendizaje automático responsable.